Cerkiew Paraskiewy jest jedną z kilku najstarszych w mieście. Została wybudowana w XIV wieku przy rynku Rybnym z fundacji żony Olgierda Marii Jarosławny księżniczki witebskiej.
Święta Paraskiewa męczenniczka żyła w III-IV wieku, patronka rodziny, ogniska domowego i macierzyństwa, jedna z najbardziej czczonych świętych kościoła prawosławnego. W Rosji znana była jako Piątnica.
Początkowo to była nadworna cerkiew księżnej. Tu odbył się chrzest dwunastu synów Olgierda. Jeden z synów Olgierda – Jagiełło podarował cerkwi dzwon z dedykacją. Zbudowana na planie kwadratu, z jedną kopułą. Przykład architektury w stylu bizantyjskim. Na skutek licznych pożarów i przebudów zmieniła swe oblicze. Obecny budynek w stylu neobizantyjskim, z półkolistymi oknami.
Świątynia jest znana z tego, że na początku XVIII wieku odwiedził ją car Piotr I. O tym przypomina umieszczona na zewnątrz tablica pamiątkowa.
Pomnik wzniesiony w 2011 roku nawiązuje do Afrykańczyka Hannibala (pradziadka Aleksandra Puszkina), który został tu ochrzczony. Podczas chrztu asystował car Piotr I.
Ów Afrykańczyk był niewolnikiem i ulubieńcem Piotra I, otrzymał z rąk cara szlachectwo.
W 1865 roku świątynię zrekonstruowano według projektu Mikołaja Czagina (autora wielu prawosławnych cerkwi). W latach radzieckich budynek był siedzibą Muzeum miniatur.
W 1990 r. cerkiew zwrócono wspólnocie prawosławnej.
Nabożeństwa w świątyni odbywają się w języku litewskim.
