Niemal do końca XIX w. Żydzi z Sosnowca podporządkowani byli gminie wyznaniowej w Będzinie i tam grzebali swych zmarłych. Wiązało się to z niedogodnościami wynikającymi z konieczności przewożenia zwłok oraz ponoszenia opłat na rzecz będzińskiej gminy żydowskiej. Jak podają autorzy Księgi Pamięci Sosnowca i okolic, w 1893 r. wobec wybuchu epidemii cholery, Żydzi z Sosnowca zostali zmuszeni do rozwiązania kwestii pochówków licznych ofiar zarazy. Przewożenie zwłok na cmentarz w Będzinie stwarzało istotne zagrożenie epidemiologiczne. Z inicjatywy Lejba Będzińskiego, przy finansowym wsparciu rodziny Rajcherów, postanowiono zatem utworzyć własny cmentarz. Z kolei Wojciech Jaworski w swym opracowaniu Żydowskie gminy wyznaniowe w Zagłębiu Dąbrowskim pisze: „Z powodu wysokich opłat za pokładane, jakie musieli wnosić sosnowieccy Żydzi do kas Będzińskiego Okręgu Bóżniczego, od 1892 roku rozpoczęli chowanie swych zmarłych na prawie nie użytkowanym cmentarzu dla ofiar cholery przy ul. Książęcej, obecnej ul. Gospodarczej”. Z czasem cmentarz ten zaczął pełnić funkcję oficjalnego miejsca pochówku członków nowoutworzonej gminy żydowskiej w Sosnowcu. Ogrodzenie cmentarza sfinansował kupiec i przedsiębiorca Adolf Oppenheim, a Adam Bergman opłacił przygotowanie terenu i wykopanie studni, służącej do rytualnej ablucji. Wspomniana uprzednio rodzina Rajcherów wybudowała dom przedpogrzebowy[1.1].

Nekropolię założono na planie wydłużonego prostokąta, z bramą wejściową oraz domem pogrzebowym usytuowanymi od strony obecnej ul. Gospodarczej.

Podczas drugiej wojny światowej cmentarz nie oparł się dewastacji. Jak twierdzi jeden z członków miejscowej społeczności żydowskiej, największe zniszczenia zostały dokonane jednak już w latach PRL. Część nagrobków wyrwano i wykorzystano do utwardzenia jednej z ulic – zalane asfaltem pozostają tam do dziś. Macewy znikały też za sprawą pewnego nieuczciwego dozorcy cmentarza, który marmurowe i piaskowcowe płyty nielegalnie sprzedawał zakładom kamieniarskim. W wyniku tych działań, w skrajnych częściach cmentarza widać ogromne braki płyt nagrobnych.

Cmentarz żydowski w Sosnowcu jest nekropolią typową dla wielkomiejskich skupisk ludności żydowskiej - znajduje to wyraz w bogactwie form nagrobnych, będących kamiennym zapisem zróżnicowania środowiska polskich Żydów w okresie przedwojennym, zarówno w zakresie obyczajowości, jak i ich statusu majątkowego. Obok tradycyjnych macew znajdziemy tu nagrobki w formie obelisków, ściętych drzew czy okazałe mauzolea. Macewy z powszechnie stosowanego piaskowca, betonu czy lastryka sąsiadują z pomnikami wykonanymi z marmuru, granitu i innych kamieni. Również inskrypcje w języku hebrajskim - świętym języku Żydów, od setek lat stosowanym na macewach - bardzo często ustępują epitafiom w językach polskim czy niemieckim. Nagrobki zmarłych w ostatnich dekadach praktycznie nie różnią się od grobów na pobliskim cmentarzu katolickim. Na jednym z nich widać nawet niemal fotograficzne przedstawienie twarzy zmarłego, co pozostaje w sprzeczności z tradycją judaistyczną.

Największa koncentracja nagrobków występuje w środkowej części nekropolii, w której dokonywane są także współczesne pochówki. Przypuszczalnie przed laty miejsce to pełniło rolę "alei zasłużonych". Tu bowiem stoją okazałe grobowce znanych sosnowieckich przedsiębiorców i działaczy miejscowej gminy żydowskiej, między innymi Adolfa Oppenheima. W pobliżu uważny obserwator odnajdzie dwie macewy, otoczone niską podmurówką, stanowiącą zapewne fundamenty zniszczonego ohelu. Nagrobek ozdobiony świętymi księgami należy do rabina Dawida Pardesa syna Mordechaja Lewa, a biała macewa z symbolem błogosławiących dłoni stoi na grobie trzyletniego Abrahama Elimelecha Jechezchiela Aharona Kohena syna Dawida Mosze, syna rabina z Zawiercia. Po prawej stronie zwraca uwagę wzniesiony w stylu mauretańskim ohel, będący miejscem spoczynku zmarłego w 1925 r. Abrahama Majera Gitlera syna Arie Lejbusza, który od 1888 r. aż do śmierci pełnił funkcję rabina w Sosnowcu.

Podczas prac inwentaryzacyjnych udało się zlokalizować około 500 nagrobków lub ich fragmentów oraz wyodrębnić ponad sześćdziesiąt rzędów nagrobków, choć nierzadko w jednej linii przetrwały tylko pojedyncze macewy czy ich ułomki. Można zakładać, że przed drugą wojną światową liczba pomników była przynajmniej trzykrotnie większa.

Wiele nagrobków upamiętnia osoby zmarłe lub zamordowane podczas drugiej wojny światowej, przy czym część mogił ma charakter stricte symboliczny. Często w treści inskrypcji wymieniane są nazwiska nawet kilkunastu osób pochodzących z tej samej rodziny.

Podczas II wojny światowej na terenie cmentarza chowano ofiary zbrodni niemieckich. Między innymi w dniach 4–10 września 1939 r. w Sosnowcu rozstrzelano około 100 osób narodowości żydowskiej. Ofiary Zagłady upamiętnia ustawiony przy wejściu pomnik, na którym wyryto napis o treści: „W hołdzie Żydom miast Zagłębia, zamordowanym przez hitlerowskich oprawców w latach 1939-1945".

Cmentarz jest nadal czynny. Obiektem administruje Gmina Żydowska w Katowicach. Teren nekropolii jest strzeżony i porządkowany.