Der Turm der Savoyer ist die letzte Spur des zweiten Schlosses von Estavayer. Es wurde von den mitherrschenden Herren von Estavayer-Cugy am Ende des 13. Jahrhunderts gebaut. Durch seine ungewöhnliche Höhe und die kräftigen Proportionen war der Turm mehr als ein einfacher Wehrturm. Er war Rückzugsort der Herrschaften, grösser noch als die nicht mehr erhaltenen, benachbarten Kurtinen und höher als die Stadtmauer. Obwohl sich die Kurtinen 20 m an der Stadtmauer entlang erstreckten.