Tutejszy zamek powstał na początku XV wieku na sztucznie usypanym wzniesieniu na lewym brzegu Liwca. Jego zadaniem była kontrola przeprawy przez rzekę, ale miał też służyć jako twierdza na pograniczu Podlasia i Mazowsza. Zamek został przebudowany dwukrotnie – w latach 1526-1536, a następnie przez królową Bonę, która w nim zamieszkała. Podczas potopu szwedzkiego zamek uległ spaleniu (w latach 1657, 1700 i 1703). Później dobudowano murowany, barokowy dwór, który służył miejscowym starostom jako ich siedziba. Podczas II wojny światowej, władze niemieckie zdecydowały, że cegły z ruin będą wykorzystane do budowy obozu zagłady w Treblince. Niemcy zostali jednak zapewnieni przez miejscowego społecznika Otto Warpechowskiego, że chodzi o ruiny zamku krzyżackiego, dzięki czemu zamek ocalał.
W 1963 roku w budynku powstało muzeum historyczne. W zamku mieści się Muzeum Zbrojownia ze zbiorami broni z XV-XX wieku, mebli i obrazów. Zamek należy do największych muzeów broni w Polsce.
