Cmentarz został założony w 1837 roku[1.1]. Wchodząc na jego teren przechodziło się przez masywną bramę. Był położony niedaleko okazałego ziemnego kopca, zwanego Jerusalemberg (niem. Góra Jerozolimska).

Dzisiaj już trudno stwierdzić, czy nazwa Jerusalemberg wzięła się od pobliskiego cmentarza żydowskiego, czy też na owym pagórku już wcześniej grzebano Żydów. Kryje on bowiem bezsprzecznie ludzkie szczątki, najpewniej zadżumionych oraz osób, które z różnych przyczyn nie mogły być pogrzebane przy kościele. Znając analogie m.in. z Dąbrówna czy Węgorzewa, można zakładać, iż właśnie w takich miejscach grzebano Żydów, jako „obcych” – kulturowo i religijnie.

W 1880 r. na mapie katastralnej Ełku teren cmentarza żydowskiego wraz ze wzgórzem Jerusalemberg zaznaczono jako Jüdenplatz[1.2].

W 1916 r. na cmentarzu pochowano szczątki żołnierzy rosyjskich wyznania mojżeszowego, poległych w okolicach Ełku podczas I wojny światowej w latach 1914–1915[1.3].

Cmentarz został częściowo zdewastowany najprawdopodobniej po dojściu do władzy przez nazistów w latach 30. XX wieku. Jeszcze w latach 60. XX w. jego teren był zarośnięty i znajdowała się tam przynajmniej jedna macewa. Później teren został zniwelowany. Ostatnie prace ziemne, usuwające resztki cmentarza, miały miejsce ok. 1976 roku. Do naszych czasów zachowały się pojedyncze kamienie polne, prawdopodobnie fragmenty dawnego ogrodzenia oraz jeden rzeźbiony kamień – fragment nagrobka. Obecnie teren cmentarza obejmuje częściowo pl. Jana Pawła II, którego pomnik znajduje się tuż za krawędzią dawnego cmentarza.