Cmentarz żydowski w Rymanowie znajduje się przy ul. Kalwaria (dojazd boczną drogą przy posesji nr 11), około 200 m na północny wschód od cmentarza katolickiego. Położony jest na cyplu wzgórza stromo opadającego w kierunku Posady Górnej.
Wiemy, że w 1589 roku istniał niezależny kahał utrzymujący drewnianą synagogę oraz własny cmentarz, z którego korzystali również Żydzi z okolicznych małych miejscowości. W tym okresie powstał zapewne cmentarz, położony wówczas poza miastem, około 0,5 kilometra od rynku, na wschodnim zboczu wzgórza Kalwaria. Wskutek rozrostu społeczności jego teren musiał być w XVIII i XIX wieku dwukrotnie powiększany. Obecnie jego powierzchnia wynosi 2,64 hektara. Cmentarz został zaznaczony na austriackim planie katastralnym z 1852 r. (arkusz nr 3)[1.1].
Na przełomie XVIII i XIX wieku Rymanów stał się ważnym ośrodkiem chasydyzmu. Swój dwór założył tu Menachem Mendel Rymanower, uczeń Elimelecha z Leżajska, który przyciągnął wielu chasydów. Świetność dworu rymanowskiego kontynuowali jego następcy Cwi Hirsz Rymanower oraz Józef ha-Kohen Friedman Rymanower. Rymanowscy cadycy spoczęli na cmentarzu na zboczu Kalwarii, a nad ich nagrobkami wzniesiono ohele.
W południowej części nekropolii w czasie I wojny światowej pochowano żydowskich żołnierzy służących w armii austro-węgierskiej, którzy polegli w walkach w okolicy Rymanowa. Dzięki zachowanym fotografiom wiemy, że kwatera zaprojektowana została na planie koła i otoczona kamiennym murem. W centrum znajdowała się macewa z wyrzeźbionymi lwami i dzbanem z kwiatami oraz epitafium w języku hebrajskim i niemieckim. Do dzisiejszego dnia zachowała się jedynie macewa ze śladami inskrypcji i pozostałości mogił ziemnych.
Podczas drugiej wojny światowej cmentarz został zniszczony przez Niemców, a większość nagrobków została użyta przez nich do budowy dróg. Na terenie cmentarza Niemcy przeprowadzali egzekucje ludności żydowskiej. Zastrzelono tu również pięciu Romów. Zwłoki ofiar grzebano na miejscu w nieoznakowanych mogiłach. Do dziś zachował się tylko zarys jednego ze zbiorowych grobów ofiar zamordowanych w sierpniu 1942 roku w czasie akcji likwidacyjnej rymanowskiego getta.
Proces dewastacji cmentarza trwał także po wyzwoleniu. Na jego terenie przez lata wypasano zwierzęta. Pomimo to, funkcjonowały dwa ohele – Menachema Mendla (1745–1815) i Cwiego Hirsza Kohena (1788–1847). Jeden powstał prawdopodobnie w latach 50. XX wieku, a drugi w 1980 roku.
W latach 90., dzięki zaangażowaniu rabina Mendla Reichberga oraz Fundacji Ochrony Dziedzictwa Żydowskiego (FODŻ), pod której opieką znajduje się cmentarz, został on uporządkowany i otoczony metalowym ogrodzeniem. W 1995 roku wpisano go do rejestru zabytków pod numerem A-343 z dn. 24.10.1995.
Na terenie cmentarza zachowało się około 800 nagrobków. Najstarszy, który udało się zidentyfikować, należy do oznaczonej inicjałem „Sz” osoby zmarłej 2 tamuz 5376 r. (16 czerwca 1616 r.). Tłumaczenie treści inskrypcji w przekładzie dr hab. Andrzeja Trzcińskiego: „Tu spoczywa mąż prawy, mocny, wielkich czynów. Odszedł drugiego dnia nowiu miesiąca tamuz 376 według krótkiej rachuby. Sz. syn Sz. błogosławionej pamięci.Niech będzie dusza jego zawiązana w węzełku życia"[1.2].
Na szczycie wzgórza cmentarnego stoją dwa wspomniane ohele, odrestaurowane w latach 80. XX wieku. W jednym nich pochowano zmarłego w 1815 r. Menachema Mendla syna Józefa, cadyka w Rymanowie, ucznia Elimelecha z Leżajska i Szmelke z Nikolsburga (ob. Mikulov, Czechy) oraz jego żonę. W drugim ohelu spoczywają: Cwi Hirsz Kohen syn Judy Lejba, od 1827 r. cadyk w Rymanowie; jego syn Józef Friedman (zm. 1913). Prochy przedostatniego rabina Hirsza Horowitza oraz jego żony Sary z Friedmanów na początku lat 60. XX w. zostały ekshumowane i przeniesione do Izraela.
Od 2008 r. w Rymanowie organizowane są Dni Pamięci o Żydowskiej Społeczności Rymanowa, których stałym punktem programu jest sprzątanie miejscowego cmentarza. Jesienią 2010 r. staraniem Fundacji Ochrony Dziedzictwa Żydowskiego, ze środków finansowych Fundacji oraz Josefa Rotema z Izraela, na cmentarzu umieszczona została nowa tablica informacyjna.
