Między latami 1681–1688 Żydzi w Olkienikach otrzymali przywilej na zajmowanie się handlem i rzemiosłem. Mieli prawo także wybudować synagogę, jednak najprawdopodobniej budynek bóżnicy powstał dopiero pod koniec XVIII w. na ówczesnej ul. Rosyjskiej (lit. Rusų g; obecnie Dzūkų g. 6). Była to jedna z najpiękniejszych i najsłynnieszych synagog drewnianych na Litwie. Na przełomie XVIII/XIX w. została zburzona, a w 1801 r. odbudowana przez braci Mordechaja i Gerszona, którzy starali się zachować oryginalną fasadę bóżnicy.

W centralnej części budynku znajdowała się bima otoczona czterema kolumnami, przykryta baldachimem wspartym na ośmiu kolumnach w stylu korynckim. Aron ha-kodesz był ozdobiony bogatą ornamentyką, przedstawiającą m.in. kwiaty, lwy, gołębie. Po prawej stronie aron ha-kodeszu umieszczono 13 zasad egzegezy Talmudu, 13 zasad wiary żydowskiej oraz formuły kabalistyczne, które miały strzec drewniany budynek przed ogniem. Rzeczywiście, mimo kilku pożarów synagoga w XIX w. pozostawała nietknięta przez żywioł.

Ówczesny budynek synagogi był wykonany na planie litery T; wysoką salę modlitw pokrywał dach z gontów. Sień w części zewnętrznej po obu bokach była zakończona wieżyczkami z czterospadowym dachem. Podobne synagogi z wieżyczkami znajdowały się jeszcze tylko w dwóch litewskich miasteczkach: Šiaulėnai i Vilkaviškis.

Legenda głosi, że w 1812 r. w Olkienikach – w drodze do Moskwy – zatrzymał się ze swoją armią cesarz Napoleon. Odwiedził synagogę i został z szacunkiem przywitany przez miejscowych Żydów. W podziękowaniu za miłe przyjęcie miał im podarować czerwony aksamitny dywanik pod siodło, z inicjałami cesarza i napisem „Glora patri”. Daru Napoleona strzeżono w synagodze aż do wybuchu II wojny światowej, kiedy to w pożarze spłonął budynek bóżnicy i całe jego wyposażenie.

Fundatorem drewnianej synagogi był książę Granowski. Na jego cześć na suficie synagogi namalowano duży fresk przedstawiający dwór Granowskich[[refr:http://www.zydai.lt/lt/content/viewitem/550/ [stan na 13 V 2012].]].