Das Kloster in Pivoň wurde in den 1360er und 1370er Jahren gegründet. Die erste schriftliche Erwähnung des Augustinerklosters stammt aus dem Jahr 1379, wahrscheinlich wurde es jedoch früher gegründet, wie aus dem erhaltenen Presbyterium aus dem 13. Jahrhundert hervorgeht. Der interessanteste Teil des Klosters ist das bereits erwähnte Presbyterium, das als eines der ältesten vollgotischen Gebäude in Böhmen gilt. Die Hussitenkriege überstand das Kloster ohne große Schäden. 1573 brannte sie jedoch nieder. Alle Dokumente des Klosters wurden im Feuer verbrannt. Während des Dreißigjährigen Krieges in der ersten Hälfte des 17. Jahrhunderts wurde sie weiter beschädigt. Die jetzige Form des Klosters ist das Ergebnis des barocken Umbaus von 1733. 1787 wurde das Kloster auf Anordnung Josephs II. aufgehoben. Nach dem Brand 1953 wurde die Kirche statisch gesichert. Anfang des 19. Jahrhunderts wurde das Kloster in ein Schloss mit 30 Zimmern umgewandelt. 1864 ging das Kloster in den Besitz der Grafenfamilie Coudenhove-Kalergi über, die hier bis 1945 blieb. Nach dem Zweiten Weltkrieg diente das Gebäude der Armee. Das Gebäude wurde nicht gepflegt und verfiel. Seit 2002 ist es im Besitz des Aurelius-Vereins.