Annexe du Grand séminaire de Rouen, le collège ecclésiastique fut créé par le père Adam de Valville pour former des prêtres. Il l’installa en 1777 dans une aile aujourd’hui détruite du presbytère. Il ferma en 1790 après avoir accueilli une dizaine de séminaristes. Le plus illustre fut Jacques Charles Bailleul (1762 - 1843), acteur majeur de la Révolution qui présida l’Assemblée nationale le jour de l’inauguration du Palais Bourbon (21 janvier 1798).
Fermé, le collège devint le presbytère de Vergetot. Presque totalement détruit par un incendie en 1856, il fut reconstruit en 1858 sous la direction de Jacques Deboos, architecte Godervillais et servit à loger les prêtres du village jusqu’au départ du père Jean Bahier, dernier curé à avoir vécu à Vergetot, en 1948. Il fut alors mis en location.
Sa restauration fut décidée au seuil de l’an 2000 lorsque le Conseil municipal décida d’y transférer les services municipaux. Restauré et réaménagé avec soin, il a été transformé en mairie en 2002.