La chiesa di Sant’Uldarico venne eretta prima del mille sulle rovine del teatro romano e le prime notizie a noi giunte risalgono al 1005-1015. Di questo periodo resta ancora la prima parte della torre rettangolare, modificata successivamente nella sommità.

Nel 1440 le monache benedettine cassinesi decisero di far ricostruire chiesa e convento. Nacque così il pregevole chiostro, che ancor oggi si conserva: ha sei arcate per lato e nei lati minori gli archi sono goticheggianti, mentre in quelli maggiori sono di forma rinascimentale.

I capitelli sono di fogge diverse e le decorazioni a fogliame si alternano a motivi allegorici (i delfini) e a teste d’angeli. La cornice terminale è di chiaro carattere cinquecentesco (1500-1505 circa).
L’interno si presenta oggi con tre cappelle laterali. Sopra la porta d’ingresso vi è “San Rocco fra gli appestati” dipinto da Giovanni Tebaldi nel 1829, mentre le formelle della Via Crucis sono dello scultore Emilio Trombara.