Residenza dei Marchesi Castiglioni, che ancora vi abitano, il Palazzo fu acquistato nel 1599 da Bernardo, esule da Milano, il quale si insediò in una parte della dimora in seguito ampliata dai suoi successori. L’arrivo di Bernardo a Cingoli, capostipite del ramo marchigiano, fu anticipato da una fitta corrispondenza che S.Carlo Borromeo intrattenne con il Priore dei Frati Cappuccini per raccomandargli Bernardo affinché potesse inserirsi nella città a lui sconosciuta.
Da allora, nei secoli successivi, la famiglia crebbe in potere e prestigio partecipando sia alla vita ecclesiastica che a quella comunale ed anche il Palazzo fu ampliato per rispondere meglio alle nuove esigenze.
Fra i personaggi che hanno dato lustro alla famiglia Urbano II del ramo di Borgogna della famiglia,
Celestino IV, Baldassarre Castiglione ed infine Francesco Saverio Castiglioni il quale assunse il nome di Pio VIII in memoria di Pio V avo della madre.

Goffredo Castiglioni - Papa Celestino IV - milanese, monaco cistercense, figlio di una sorella di Urbano III. Cancelliere dell'Arcivescovato di Milano nel 1223, Cardinale dal 1227 (con il titolo di San Marco), Legato in Lombardia nel 1229, Cardinale Vescovo di Sabina dal 1233, venne eletto il 25 ottobre 1241, dopo la morte di Gregorio IX il 22 agosto 1241. Regnò soltanto 17 giorni.

Baldassarre Castiglione (Mantova 1478 - Toledo 1529). Letterato.
Conosciuto per il "Cortegiano" manuale di comportamento, scritto sotto forma di dialogo fra gentiluomini, stampato nel 1528 da Aldo Manuzio. Qui vediamo il suo celebre ritratto eseguito da Raffaello.

Francesco Saverio Castiglioni:
(Cingoli 1761 - Roma 1830) Papa Pio VIII.
Prese i voti nel 1785 e divenne Vescovo di Montalto nel 1800. Si rifiutò di prestare giuramento di fedeltà al regime napoleonico e per questo fu imprigionato nel 1808. Divenne cardinale nel 1816 e nel 1829 fu eletto papa con il nome di Pio VIII. Il suo pontificato, anche se molto breve, ebbe notevole importanza