Etimològicament, sembla ser que el nom de Vila-sacra és un topònim format pel mot “Villa” i un nom personal “Saccari”.
La història de Vila-sacra va estretament lligada a la del monestir de Sant Pere de Rodes.
A finals del segle XVIII degut als desastres produïts per la Guerra Gran i a la pobresa a què arribà el monestir, els monjos es traslladaren al seu castell de Vila-sacra. El trasllat es realitzà el 10 de desembre de 1798. S’hi estigueren pocs anys, car el 1805 el rei Carles IV els concedí el trasllat a Figueres fins a la definitiva extinció de la comunitat l’any 1835.
L’església de Sant Esteve de Vila-sacra és una nau de planta rectangular, pertany al període ROMÀNIC IV i conserva algunes escasses restes del temple anterior del període ROMÀNIC II.
A la banda de ponent i a pocs metres de l’església hi ha les restes del “Castell de Vila-sacra” anomenat “el Palau de l’Abat” o l’Abadia.
El més interessant d’entre els actuals vestigis del castell-palau és la torre de planta circular, de forma marcadament troncocònica.
A la banda del migdia de la torre s’hi afegeix un edifici rectangular força gran, l’antic Palau. Hi ha espitlleres a la part baixa i una finestra d’estil gòtic que té els arquets de mig punt i de la qual no es conserva ni la columna ni el capitell.
Les finestres coronelles i l’arcada gòtica demostren que el palau, situat vora la torre més antiga fou bastit als segles XIV-XV.