Die Dominikanerinnen kamen um 1316 auf Geheiss von Wilhelm von Estavayer, Chorherr der Kathedrale von Lausanne und Archidiakon von Lincoln, in die Stadt. Seither sind sie an diesem Ort angesiedelt und noch heute wohnen 15 Dominikanerinnen dort. Im 15. Jahrhundert profitierte das Kloster von der Unterstützung Humberts des Bastards, der 1423 seine Grabeskapelle dort errichtete und auch den Wiederaufbau des Chors finanzierte. Beide Orte ziert seine Wappen. Ende des 17. Jahrhunderts blühte die Klostergemeinschaft auf und die Gebäude des Klosters wurden fast in Gänze zwischen 1686 und 1735 neu gebaut.