Cmentarz żydowski w Rybniku powstał w sierpniu 1814 roku, na południe od centrum miasta. Obecne położenie tego miejsca to naroże parku pomiędzy ulicami 3 Maja, Klasztorną i Henryka Wieniawskiego. Granice były prawdopodobnie tożsame z granicą obecnego skweru od południa, zachodu i wschodu, a granica północna – prawdopodobnie tożsama z przebiegiem obecnego muru oporowego. Wcześniej Żydów z tego terenu grzebano w Mikołowie.

Zakup gruntu o powierzchni 0,23 ha ostatecznie sfinalizowano w 1815 roku. Na cmentarz przeznaczono początkowo wschodnią część działki, znajdującą się u zbiegu dzisiejszych ulic Klasztornej i Henryka Wieniawskiego. Całość otoczona była ceglanym ogrodzeniem, natomiast od strony ul. Klasztornej zbudowano niewielki dom przedpogrzebowy na planie prostokąta, do którego prowadziły schody bezpośrednio z drogi. Po jego lewej stronie zlokalizowana została brama wejściowa.

Pierwszą pochowaną w Rybniku osobą był jednoroczny Moritz Müller, zmarły tam 25 sierpnia 1814 roku, natomiast najstarszy znany z archiwalnego zdjęcia, istniejący przed II wojną światową, nagrobek upamiętniał drugą z pochowanych, a pierwszą dorosłą osobę – Veronę Sussmann, zmarłą 25 października 1814 roku, w wieku 74 lat.

W 1871 roku – w związku z zapełnieniem – cmentarz został powiększony od strony zachodniej i północnej, dzięki czemu ostatecznie osiągnął powierzchnię 0,37 ha. Przy drodze do Chwałowic, późniejszej Promenadestrasse, a obecnej ulicy 3 Maja, powstała nowa okazała hala cmentarna, z bezpośrednim wejściem z ulicy, ufundowana przez właściciela browaru Hermanna Müllera. Nową część otoczono ceglanym ogrodzeniem.
Cmentarz był miejscem spoczynku także dla Żydów zamieszkałych w około dwudziestu okolicznych wsiach. Należy przyjąć, że na mogło spocząć na nim łącznie około 700 osób.

Kres jego funkcjonowania nastąpił na przełomie lat 20. i 30. XX wieku. 29 marca 1927 roku Urząd Policji Miejskiej w Rybniku zarządził zamknięcie nekropolii ze względów sanitarnych i jednocześnie nakazał w ciągu sześciu miesięcy nabyć żydowskiej gminie wyznaniowej nowy grunt przeznaczony na pochówki. Władze uzasadniły decyzję tym, że wraz z rozwojem miasta, cmentarz z czasem znalazł się pośród zabudowy mieszkalnej. 16 sierpnia 1928 roku władze wojewódzkie potwierdziły decyzję o zamknięciu cmentarza.

Decyzje władz spotkały się ze stanowczą reakcją wspólnoty żydowskiej, która odwołała się do Najwyższego Trybunału Administracyjnego. Argumentowano, że ze względu na niewielką liczbę członków gminy nie stać na zakup i urządzenie nowego terenu grzebalnego. 23 września 1930 roku potwierdzono jednak ostateczność podjętych decyzji, natomiast dwa miesiące później zawiadomiono gminę żydowską o zamknięciu cmentarza z dniem 1 stycznia 1931 roku oraz możliwości chowania zmarłych na należącym od 1924 roku do wspólnoty rybnickiej cmentarzu w Wodzisławiu Śląskim.

Najwyższy Trybunał Administracyjny wyznaczył posiedzenie w sprawie dopiero na 20 października 1931 roku; do tego czasu, w związku z ugodą zawartą pomiędzy magistratem a gminą żydowską, skargę wycofano. Z pomocą bowiem władz miejskich założono tymczasem nową nekropolię, zlokalizowaną przy ulicy Rudnej na północ od rynku. Stary cmentarz nadal starano utrzymywać w najlepszym porządku. Najprawdopodobniej ostatnią pochowaną osobą na cmentarzu była sześćdziesięciosześcioletnia Teresa Steringer z Bielska, zmarła 23 lutego 1930 roku w miejscowym szpitalu psychiatrycznym.

Ostateczny kres cmentarzowi przyniosła II wojny światowa. Nazwę ulicy, przy której się znajdował, zmieniono na Adolf-Hitler-Strasse. Wykorzystując fakt formalnego zamknięcia nekropolii, okupacyjne władze niemieckie zdecydowały o jej całkowitej likwidacji, do czego przystąpiły w marcu 1940 roku. Żydowskich mężczyzn z Rybnika do rozebrania domu przedpogrzebowego, zdemontowania części nagrobków i wyrównania terenu. Dalsze prace kontynuowali już polscy więźniowie, których zmuszono do „ekshumacji” większości pochowanych. Pozyskane z cmentarza nagrobki wywieziono. Zapewne część została sprzedana kamieniarzom, natomiast nie nadające się na przeróbkę, wykorzystano do celów budowlanych, m.in. do utwardzenia dna i brzegów w danym kanale Młynówka. Nie też ma pewności, czy wszystkie szczątki zostały „ekshumowane”. Stary cmentarz żydowski w Rybniku stał się jedynym przykładem nekropolii wyznawców judaizmu na terenie Górnego Śląska, którą całkowicie zlikwidowano w okresie okupacji niemieckiej podczas II wojny światowej.

Po 1945 r. w miejscu cmentarza urządzono sadzawkę, a cały teren przekształcono w park. Obecnie w miejscu nekropolii znajduje się zieleniec im. Henryka Wieniawskiego. W 2009 r. Muzeum w Rybniku przejęło 6 macew, wykorzystywanych przez lata jako płyty chodnikowe na terenie jednej z posesji. 22 września 2009 r. przy ul. Hallera odnaleziono kolejną macewę, stojącą pierwotnie na grobie Charlotty Prager z domu Haase (zm. 26.07.1884).

Sławomir Pastuszka