Pierwszy cmentarz żydowski w Szydłowcu powstał najprawdopodobniej w XVIII wieku. Został ulokowany po zachodniej stronie trasy Kielce - Radom (obecnie ul. Wschodnia). Działka cmentarza miała kształt prostokąta, a przy jego zachodnim krańcu znajdowała się synagoga. Cmentarz był miejscem pochówku dla Żydów nie tylko z Szydłowca, ale i okolicznych miasteczek, w tym m.in. Bodzentyna.

W latach 1847–1852 ogrodzono go, gdyż dotychczas był otoczony jedynie przez wały[1.1]. Funkcjonował do 1851 roku. Podczas II wojny światowej cmentarz został kompletnie zniszczony. W 1957 r. resztki nagrobków przeniesiono na teren nowego cmentarza. Teren starego cmentarza został zabudowany i nie pozostał po nim żaden ślad.  

Drugi cmentarz żydowski w Szydłowcu powstał na początku XIX wieku. W 1811 r. gmina żydowska zakupiła prostokątną działkę o wymiarach 290 x 90 m[1.2] pod nową nekropolię po wschodniej stronie trasy Kielce - Radom (obecnie ul. Wschodnia).  

Wiadomo, że obok cmentarzy znajdował się również dom przedpogrzebowy. Umiejscowiony był on gdzieś między starym i nowym cmentarzem[1.3].

Ostatni znany pochówek na nowym cmentarzu w Szydłowcu odbył się w 1943 roku. Podczas II wojny światowej jego teren został zdewastowany przez Niemców. Do dzisiejszego dnia na powierzchni 2,8 ha zachowało się ponad 2 tys. nagrobków. Najstarszy z nich pochodzi z 1831 roku. Nagrobki zostały w większości wykonane z wapienia i piaskowca. Mają głównie kształt macew (prostokątna płyta, zazwyczaj zaokrąglona na górze), rzadko sarkofagów.

W 1957 r. teren cmentarza uporządkowano i ogrodzono murem z bramą. W 1971 r. umieszczono tu tablicę pamiątkową ku czci 16 tys. Żydów z szydłowieckiego getta, rozstrzelanych bądź pomordowanych przez Niemców. Kolejne prace porządkowe kontynuowano w latach 1978–1991.

W prace restauracyjne na cmentarzu zaangażowała się również Fundacja Rodziny Nissenbaumów. W latach 2005–2011 pracownicy Fundacji porządkowali teren cmentarza: usuwali śmieci, butelki, czyścili teren cmentarza z chwastów, samosiejek. Nad grobami rabina Dawida Natana Rabinowicza i jego syna Szragi wybudowany został ohel, na którym umieszczono trzy pamiątkowe tablice poświęcone pochowanym tu rabinom.  

Spis macew z cmentarza żydowskiego w Szydłowcu jest dostępny na stronie Fundacji Dokumentacji Cmentarzy Żydowskich: https://cemetery.jewish.org.pl/list/c_3 [dostęp: 08.01.2023].