Stary cmentarz żydowski w Gołdapi został założony na początku XIX w. przy ówczesnej Szosie Darkiejmskiej (Darkehmer Chaussee, dzisiejszej ul. Cmentarnej). Zlokalizowano go na powierzchni 0,1 ha, na południe od drogi, vis a vis cmentarza ewangelickiego.

Pochówki sytuowano najprawdopodobniej w ośmiu rzędach, po około 9 grobów w rzędzie. Pogrzebano tutaj około 70 osób. Nad grobami umieszczano różnego typu nagrobki – najczęściej były to pionowe macewy ustawione na betonowych i betonowo-ceglanych podstawach. Niektóre z grobów miały tumby lub profilowane ogrodzenia wykonane ze sztucznego kamienia. Macewy wykonane były z granitoidów, piaskowca i sztucznego kamienia (lastryko, beton) oraz najprawdopodobniej z marmuru. Bardziej archaiczne pod względem kształtu i wyłączności inskrypcji w języku hebrajskim były przede wszystkim macewy wykonane z różnego gatunku granitów. Młodsze – przede wszystkim z przełomu XIX i XX w. były wykonywane z piaskowca. Te ostatnie były zdobione m.in. kompozycjami gałązek winorośli i kiści winogron (David Levin, zm. 1872), dębowych liści, gałązek i żołędzi (Ferdinand Pollnow, 1825–1886), symbolem Gwiazdy Dawida (Max Süsskind, 1867–1907). Na szczególną uwagę zasługuje nagrobek Juliusa Lehmanna (1843–1880) w formie smukłej kolumny, która pierwotnie była najprawdopodobniej zwieńczona urną. Inskrypcje zapisane były tylko po hebrajsku, tylko po niemiecku lub w obu językach – najczęściej po jednej stronie macewy.

Nekropolia zapełniła się najprawdopodobniej w pierwszych latach XX wieku.

Podczas II wojny światowej cmentarz został zdewastowany i popadł w zapomnienie na dziesięciolecia. W 1989 r. z inicjatywy władz lokalnych uporządkowano go, a w 2001 r. został odnowiony wspólnym wysiłkiem Samorządu Gołdapi, partnerskiego miasta Givat Shmuel i Fundacji Rodziny Nissenbaumów.

Do dnia dzisiejszego zachowało się: 11 macew w dobrym stanie, 8 macew częściowo zachowanych, fragmenty kolejnych 4 macew, 3 tumby wraz z podstawami macew oraz około 9 podstaw macew. Dobrze zachowane nagrobki związane są z rodzinami Lehmannów, Levinów, Rosettensteinów, Silbersteinów i Süsskindów. Najstarsza zachowana macewa pochodzi z 1860 r., najmłodsza – z 1907 r., choć relikty nagrobków mogą wskazywać, iż pochówków dokonywano tu jeszcze co najmniej w latach 20. XX w. Stary cmentarz w Gołdapi 16 marca 1995 r. został wpisany do rejestru zabytków pod nr A-1026/S[1.1].

Dane zachowane na macewach z cmentarza:

• Levin David, zm. 13.05.1872 r.
• Doris Friedlaender, z domu Henoch, ur. 04.04.1816 r., zm. 16.04.1860 r.
• Joachim Friedlaender, ur. 30.11.1814 r., zm. 25.06.1870 r.
• Julius Lehmann, ur. 24.06.1843 r., zm. 16.01.1880 r.
• Ferdinand Pollnow, ur. 25.06.1825 r., zm. 04.05.1886 r.
• Isidor Rosettenstein, zm. 22.10.19?? r.
• Rebecca Silberstein
• Max Süsskind, ur. 17.02.1867 r., zm. 12.08.1907 r.

Współcześnie zadbany, otoczony murem ceglanym oraz płotem wraz z drzewostanem (przede wszystkim klony) należy do najlepiej zachowanych i najurokliwszych nekropolii żydowskich w Polsce północno-wschodniej.