Cmentarz żydowski w Janowcu powstał w trzeciej ćwierci XVI w., co pozwala zaliczyć go do najstarszych tego typu obiektów w regionie. Zamykał on miasto, a zarazem dzielnicę żydowską, od strony wschodniej.

Został sprofanowany i zniszczony w czasie II wojny światowej przez Niemców, a znajdujące się tu macewy wykorzystano do utwardzania ulic oraz do regulacji rzeczki Nieciecz. Rozebrano też wówczas ogrodzenie i dom pogrzebowy, a część terenu cmentarza przekształcono w prywatne działki. W późniejszym okresie teren cmentarza został zniwelowany w czasie utwardzania sąsiadującej z nim ulicy.

W 2001 r. Towarzystwo Przyjaciół Janowca nad Wisłą przygotowało projekt rewaloryzacji terenu cmentarza i rozpoczęło akcję zbierania rozproszonych macew, z których żadna nie zachowała się w swym pierwotnym miejscu. Nekropolia została ogrodzona od strony ul. Młynarskiej. W 2022 r. uroczyście odsłonięto upamiętnienie cmentarza.