Pierwsza wzmianka o Świerżach pochodzi z 1443 r. Mówi ona o tym, że Piotr Wołczko Rekut z Kłodna – bojar żmudzki, uposażył ufundowany przez siebie kościół katolicki. Prawa miejskie Świerże uzyskały przed tym wydarzeniem, ok. 1435 r.

W 1625 r. miasteczko znajdowało się w rękach Hieronima Jełowieckiego. W 1694 r. dobra świerżańskie przeszły na własność Adriana Olędzkiego.

W 1716 r. miasteczko zostało spalone przez wojska saskie. W 1722 r. właścicielką Świerży została Anna Olędzka. W 1724 r. ufundowała ona nowy kościół i cerkiew. W 1750 r. Świerże były własnością Andrzeja Olędzkiego, zaś w 1782 r. syn Andrzeja – Feliks Olędzki sprzedał miasto rodzinie Przyłuckich. Po 1760 r. nowy właściciel miasta – dziedzic Rulikowski wybudował w Świerżach okazały pałac. W 1780 r. miasteczko stało się własnością rodziny Orsetia. Ze względu na położenie nad Bugiem, w Świerżach powstała duża przystań rzeczna[1.1].

W 1795 r. Świerże znalazło się w zaborze austriackim, w 1807 r. w Księstwie Warszawskim, natomiast w 1815 r. w Królestwie Polskim.

W XIX w. istniał w Świerżach drobny przemysł w postaci młynów wodnych, cegielni, wiatraków, smolarni oraz gorzelni. W 1822 r. Świerże utraciły prawa miejskie. W 1852 r. osadę nawiedziła epidemia cholery. W tym okresie w rynku znajdowało się 9 sklepów spożywczych, 5 mięsnych, 5 tekstylnych, 4 z gospodarstwem domowym, masarnia, apteka oraz 3 punkty gastronomiczne.

W 1908 r. w osadzie powstało Kółko Rolnicze. W 1910 r. powstała straż pożarna[1.2]. W 1918 r. Świerże nabył hrabia Tarnowski. Jego żona zorganizowała w osadzie Ośrodek Zdrowia. Hrabia wybudował prowadzącą przez osadę szosę brukową. Planował także połączyć Świerże z Dorohuskiem, jednak II wojna światowa pokrzyżowała jego plany.

23 IX 1939 r. do osady wkroczyła armia radziecka, która złupiła pałac i jego wyposażenie. 2 X 1939 r. do osady ponownie wkroczyła armia niemiecka. W 1941 r. Świerże zostały spustoszona przez potężny pożar.