Cmentarz w Ołpinach powstał w II połowie XIX wieku, w odległości około 1,5 km od centrum wsi, na działce o powierzchni 0,2 hektara, w sąsiedztwie założonego w latach 1847-1848 cmentarza cholerycznego, którego śladem jest relikt wału ziemnego.

W wyniku zniszczeń z czasów II wojny światowej oraz w okresie po wyzwoleniu, przez wiele lat na cmentarzu nie było żadnych nagrobków. Wiele z nich zostało wykorzystanych przez okoliczną ludność do utwardzenia przejazdów, prac budowlanych itp. Jesienią 2007 r. miejscowy historyk Michał Piotrowski odnalazł kilka macew. Kilka miesięcy później, dzięki pomocy urzędu gminy w Szerzynach, nagrobki zostały przewiezione na cmentarz.

Teren jest nieogrodzony. W obrębie nekropolii zlokalizowany jest cmentarz wojenny nr 35. Wiadomo, że znajdowała się na nim mogiła 6 żołnierzy poległych podczas I wojny światowej, z których tylko jeden - Abraham Klinghofer, żołnierz 33. stryjskiego pułku piechoty Landwehry - był zidentyfikowany imiennie. Nagrobki stanowiły macewy z piaskowca z inskrypcjami, prawdopodobnie zaprojektowane przez Johanna Jägera.

Cmentarz zlokalizowany jest ok. 500 m na południe od cmentarza nr 34 w Ołpinach, który należy ominąć z lewej strony podążając ku szczytowi pagórka. Cmentarz żydowski będzie widoczny ze szczytu w niewielkim zagłębieniu terenu jako kępa drzew i krzewów pośród pól.