Il palazzo sorge al centro della città. Fu costruito fra il XIII ed il XIV secolo con l’accorpamento di tre piccoli edifici, e come tutti i grandi complessi monumentali il Palazzo fu continuamente sottoposto ad interventi e migliorie.
Fu la sede del Capitano del Popolo, figura istituzionale delle amministrazioni locali di epoca medioevale, che rivestiva la carica di capo delle milizie ed esercitava il potere legislativo. In seguito ospitò anche i Podestà, carica civile dei governi delle città.
A sinistra del prospetto principale si evidenzia una torre duecentesca, a pianta quadrata, riadattata a campanile. L’imponente portale, realizzato nel 1546, è sovrastato dalla statua di Paolo III scolpita da Simone Cioli; all’interno, dove sono stati riportati alla luce resti di edifici di epoca romana, si apre un cortile rinascimentale a portico e a logge.
A causa delle nuove condizioni politiche, nel 1563 il Palazzo divenne sede dei Governatori Pontifici e ne rimane fino al 1860 quando, con il passaggio delle Marche al Regno d’Italia, divenne proprietà dello Stato.
