Cmentarz żydowski w Rypinie został założony prawdopodobnie w XVIII lub XIX wieku, przy obecnej ul. Spokojnej, naprzeciwko posesji nr 72. Nekropolia uległa zniszczeniu podczas drugiej wojny światowej. Nagrobki z cmentarza zostały wykorzystane do prac budowlanych.

W latach osiemdziesiątych i dziewięćdziesiątych XX w. dzięki inicjatywie miejscowego społecznika Jana Smolińskiego oraz Beniamina Stencla z Izraela udało się odzyskać część skradzionych macew. W 1990 r. na części działki cmentarnej urządzono w lapidarium, w formie półkolistego muru. Do jego wewnętrznych ścian przytwierdzono kilkadziesiąt macew i ich fragmentów. W centrum wzniesiono obelisk z tablicą z napisem w języku hebrajskim: „Pamiętaj! Albowiem i kamień na murze płacze. Macewy z cmentarza świętej gminy Rypin zostały zbezczeszczone przez niemieckich zbrodniarzy. A ich krew będzie pomszczona, B-g patrzy z góry”. Do furtki lapidarium przytwierdzono dwie tablice z napisami w językach polskim i hebrajskim o treści: „Albowiem i kamień na murze płacze. Prorok Habakuk 2.11. Groby poświęcone pamięci zmarłych na cmentarzu żydowskim w Rypinie zostały zbezczeszczone przez zbrodniarzy niemieckich w okresie II wojny światowej. Przelana krew zbrodni nie oczyści, a Pan będzie mieszkał na Syjonie. Prorok 4.21”.

We wrześniu 2011 r. podczas remontu ul. Kwiatowej w Rypinie robotnicy wykopali kolejne macewy, pochodzące z tego cmentarza.