Das älteste romanische Mauerwerk der Allerheiligenkirche stammt aus dem letzten Viertel des 12. Jahrhunderts. Dieses Mauerwerk besteht aus sorgfältig bearbeiteten Granitblöcken in der Süd- und Westwand des Kirchenschiffs. Der Umfang dieses intakten romanischen Mauerwerks verrät die ursprünglichen Abmessungen der romanischen Kirche, die nur etwa zwei Drittel der späteren Breite und Höhe des Kirchenschiffs betrug. Wahrscheinlich diente die romanische Kirche ursprünglich als Kapelle des bischöflichen Hofes, worauf auch die Reste einer möglichen Herrschaftstribüne hindeuten, die durch den angedeuteten Westeingang im ersten Stock zugänglich ist. Im dritten Viertel des 14. Jahrhunderts wurde die Kirche nach Nordosten erweitert und ein Chor hinzugefügt, wobei romanische Blöcke wiederverwendet wurden, die in neue Mauern aus Bruchsteinen eingebaut wurden. Einige Zeit nach der Fertigstellung des Chors wurde die als Sakristei genutzte St.-Barbara-Kapelle angebaut, die im späten 14. Jahrhundert eine erste Freskenschicht und 1489 eine zweite Freskenschicht erhielt. Wahrscheinlich an der Wende vom 15. zum 16. Jahrhundert wurde der Eckturm der Kirche in das ursprüngliche Dach eingebaut. Dieser außergewöhnlich gut erhaltene gotische Dachstuhl ist durch den breiten Bogeneingang vom Turmgeschoss aus gut zugänglich. Der letzte bedeutende Umbau fand um 1745 statt, als die Kirche ihre heutige Widmung zu Allerheiligen erhielt. Das Innere erhielt einen neuen Chor mit korinthischen Pilastern und Stuckverzierungen, und die gotischen Rundbogenfenster wurden durch zwei breite Kastenfenster im Kirchenschiff ersetzt.
