Już w latach 80. XIX w. gmina żydowska w Krakowie zdawała sobie sprawę ze stopniowego zapełniania cmentarza przy ul. Miodowej i konieczności zorganizowania nowego miejsca pochówku. Władze gminy krakowskiej postulowały m.in. użytkowanie cmentarza żydowskiego w Podgórzu[1.1]. Sprawa ciągnęła się latami i znalazła swój finał dopiero po odzyskaniu przez Polskę niepodległości.

Ostatecznie postanowiono urządzić cmentarz w Woli Duchackiej, na stokach Krzemionek, w bezpośrednim sąsiedztwie istniejącego tam od 1888 r. cmentarza gminy żydowskiej w Podgórzu. Ta lokalizacja była stosunkowo korzystna ze względu na relatywnie niedużą odległość od Stradomia i Kazimierza oraz możliwość kierowania konduktów pogrzebowych przez ul. Miodową, Starowiślną i III Most, a więc ciągi komunikacyjne nieprzebiegające przez centrum[1.2]. Należy podkreślić, że w okresie międzywojennym oba cmentarze znajdowały się poza obszarem zwartej zabudowy.

14 lub 15 marca 1919 r. gmina żydowska w Krakowie zakupiła od Piotra Hoffmana parcele o łącznej powierzchni 13 morgów 1474 sążni kwadratowych (ok. 8 ha)[1.3]. Prawdopodobnie w 1920 r. ogłoszony został konkurs na zagospodarowanie nowej przestrzeni cmentarnej. Władze gminy oczekiwały ambitnego projektu z monumentalnym domem przedpogrzebowym, w którym znalazłyby się m.in. poczekalnia dla rabina, pomieszczenie („ubikacyja”) dla Kohenów, kostnica, oddzielna kostnica dla zmarłych na choroby zakaźne, pomieszczenie do rytualnej ablucji zwłok, dom modlitwy, część biurowa i mieszkalna, garaż i stajnia. Kwatery grzebalne miały być wytyczone w kierunku wschód-zachód, przedzielone siecią dróg głównych, bocznych i alejek. Projekt miał także uwzględniać wykonanie rurociągu odwadniającego i rozplanowanie zieleni cmentarnej[1.1.1].

Konkurs wygrał 43-letni architekt inż. Adolf Siódmak. Jego projekt przewidywał m.in. wzniesienie w północno-wschodnim narożniku cmentarza domu przedpogrzebowego w stylu orientalnym na planie wydłużonego prostokąta, z krytymi kopułami trzema ryzalitami, dzielącymi bryłę budynku na dwie części. Centralny ryzalit z kopułą miał wysokość ok. 25 m, ryzality na krańcach skrzydeł budynku były nieco niższe. Dodatkowo w południowo-wschodnim narożniku cmentarza miał stanąć znacznie skromniejszy budynek dla bractwa Chewra Kadisza (tzw. Szary Domek)[1.4].

Prace przy urządzaniu cmentarza przeciągały się w czasie. Utrudniał je kryzys, trudna sytuacja finansowa gminy oraz konieczność uzyskania różnych zezwoleń. Gmina musiała m.in. doprowadzić do cmentarza elektryczność, wykonać odwodnienia, dostosować drogi dojazdowe. Prace budowlane i wykończeniowe trwały do lat 30. XX w. i – ze względu na wybuch II wojny światowej – nie zostały doprowadzone do końca[1.5].

Ceremonia otwarcia cmentarza i domu przedpogrzebowego odbyła się 6 kwietnia 1932 roku. W uroczystościach prowadzonych przez rabina Josefa Nechemię Kornitzera uczestniczyły setki osób. Zgodnie ze starym zwyczajem, zebrani siedmiokrotnie okrążyli cmentarz. W tym samym dniu w krakowskich synagogach odprawiono specjalne modlitwy w intencji cmentarza[1.6].

25 lipca 1932 r. władze gminy żydowskiej wystąpiły do władz miasta o zgodę na oficjalne otwarcie cmentarza. Pozytywna decyzja w tej sprawie została wydana 17 sierpnia 1932 roku[1.7].

Cmentarz posiadał dwa adresy: ul. Abrahama 3 i ul. Jerozolimska 14[1.8]. Ta ostatnia ulica oddzielała go od strony północnej od cmentarza podgórskiego. Na mapach z przełomu lat 30. i 40. XX w. cmentarze oznaczano jako „Stary cmentarz izraelicki” i „Nowy cmentarz izraelicki”.

Nie wiadomo, ile osób pochowano na cmentarzu do czasu wybuchu II wojny światowej. Zważywszy, że w poprzednich latach cmentarz przy ul. Miodowej przyjmował rocznie nawet 650 pochówków, można zakładać, że w ciągu 7 lat przy ul. Abrahama spoczęło kilka tysięcy osób. W tym samym czasie władze gminy ograniczały pogrzeby na cmentarzu przy ul. Miodowej[1.9]. Władze gminy zakładały, że cmentarz przy ul. Abrahama będzie użytkowany przez 200–250 lat[1.1.7].

Po wybuchu II wojny światowej cmentarz pełnił nadal funkcje grzebalne. Między innymi w grudniu 1939 r. pochowano na nim zwłoki urzędnika gminy żydowskiej Maksymiliana Redlicha oraz kilku osób, zabitych przez Niemców na Kazimierzu. Na cmentarzu złożono także urnę z prochami prof. Leona Sternbacha, przysłaną z obozu koncentracyjnego w Oranienburgu. 10.09.1939 r. przy murze cmentarza Niemcy dokonali egzekucji 13 mieszkańców Krakowa. Rozstrzelani zostali: J. Berezicki, A. Bilski,  K. Górski, W. Drożdż, S. Masny, F. Nawrot, J. Owsiany, A. Pietryka, W. Pietryka, Cz. Równowarczyk, J. Ziembiński. Nazwisk dwóch pozostałych ofiar nie ustalono[1.10].

Po zamknięciu getta i wydaniu zakazu grzebania zmarłych na cmentarzach przy ul. Miodowej i ul. Jerozolimskiej, cmentarz przy ul. Abrahama stał się jedynym oficjalnym miejscem pochówku krakowskich Żydów.

Wiosną 1941 r. pracownicy gminy żydowskiej ukryli w budynku domu przedpogrzebowego przedmioty liturgiczne z synagog, m.in. około 150 zabytkowych zwojów Tory. W 1944 r. wpadły one w ręce Niemców, którzy część z nich zniszczyli, a inne przekazali do krakowskiego Instytutu Badań Wschodnioniemieckich[1.11].

Jesienią 1942 r. na cmentarzu oraz sąsiednim cmentarzu podgórskim Niemcy utworzyli obóz pracy przymusowej w Płaszowie (niem. Zwangsarbeitslager Plaszow bei Krakau des SS- und Polizeiführers im Distrikt Krakau), przekształcony 10 stycznia 1944 r. w obóz koncentracyjny. Na ich rozkaz robotnicy przymusowi wyrwali z ziemi nagrobki i wykorzystali je do utwardzania dróg na terenie obozu[1.12]. W obrębie nowego cmentarza wzniesiono baraki obozu dla mężczyzn i wytyczono plac apelowy. W południowo-zachodniej części wykopano dwa stawy przeciwpożarowe, wymagane przez firmę ubezpieczającą infrastrukturę obozu. Budynek bractwa Chewra Kadisza przeznaczono na mieszkania dla SS-manów, więzienie i katownię osadzonych w obozie. W piwnicach powstało 20 bunkrów przeznaczonych do odbywania kar na stojąco, 5 cel ogólnych i ciemnica[1.13].

W domu przedpogrzebowym Niemcy urządzili stajnię i chlew, a w czerwcu 1944 r. – w związku z budową linii kolejowej – wysadzili go w powietrze. Zostawili jedynie skrzydło zachodnie, w którym znajdowała się hydrofornia, niezbędna dla funkcjonowania obozu[1.1.11]. Tę część budynku ostatecznie rozebrano po zakończeniu wojny, prawdopodobnie pod koniec lat 40. XX wieku.

Więzień obozu Matys Brunnegraber tak wspomina prace przy budowie obozu i niszczeniu cmentarza: „Burzyliśmy mur cmentarny, co trwało długo, bo mur był gruby. Musieliśmy burzyć nagrobki kilofami, a groby się plantowało i fundamenty[1.14] stawiało się na słupach. Słupy wbijało się do grobów na głębokość jednego metra. (...) Bagier[1.15] przekopywał ziemię, z której wyrzucał kości szkieletów. Gdy napotykano czaszkę, Bagermeister kazał Żydom wyjmować złote zęby i mostki i zabierał je”[1.16].

Pod koniec 1944 r. Niemcy przystąpili do rozbiórki baraków i innych zabudowań. Miało to na celu zatarcie śladów zbrodni popełnionych w obozie[1.17]. Po wojnie pozostałości infrastruktury obozowej były rozkradane. Śledczy Okręgowej Komisji Badania Zbrodni Hitlerowskich stwierdzili fakty kradzieży i handlu nagrobkami. W procederze uczestniczyli właściciele zakładów kamieniarskich[1.18].

Obecnie granice cmentarza są nieczytelne. We wschodniej części na odcinku o długości około 60 m znajdują się ruiny domu przedpogrzebowego oraz zachowany budynek dawnego bractwa Chewra Kadisza (tzw. „Szary Domek”), obecnie użytkowany jako mieszkania komunalne. W jego pobliżu w 2003 r., dzięki staraniom Fundacji Centrum Edukacji Kulturowej i Ekologicznej, ustawiono współczesną macewę Sary Schenirer – założycielki sieci szkół Bejt Jakow. W 2011 r. nieznana osoba lub organizacja wykonała nad grobem dach, tworzący rodzaj ohelu. Prawdopodobnie ze względu na brak pozwolenia na budowę, zadaszenie zostało rozebrane[1.19].