Il Palazzo Milesi è un edificio quattrocentesco voluto come dimora nobiliare della famiglia Buccelleni, poi nel tardo Cinquecento passata ai Ginami e successivamente ai nobili Milesi.
Oggi è sede comunale e ospita il MAP – Museo delle Armi Bianche e delle Pergamene dove si racconta la secolare storia del borgo fortificato di Gromo, attraverso una collezione di spade e armi bianche forgiate dalle maestranze locali.