W latach 1503-1505 biskup płocki Erazm Ciołek (1474-1522) zbudował w miejscu dwóch XIV-wiecznych kanonii okazały pałac. Biskup był sekretarzem Aleksandra Jagiellończyka, humanistą i dyplomatą.