L'ultima parte del Palazzo che quella che contiene il Lapidarium, ovvero il luogo dove sono conservate le statue, i bassorilievi di età romana e gli epigrafi si affaccia su Piazza Boccolino, dove una fontana molto semplice diventa la protagonista. Il Duomo è diviso in tre navate e all'interno si può trovare la cripta che contiene le reliquie dei primi martiri e dei santi vescovi, fu costruita da Mastro Filippo nel 1911. Accanto alla cattedrale si trova il Battistero quattrocentesco che ha un soffitto molto particolare perché realizzato a cassettoni realizzato dall'artista Alberto Sarti di Jesi, mentre il fronte battesimale in bronzo venne eseguito dai fratelli Jacometti nel Seicento.