El Palacio Milesi es un edificio del siglo XV que se construyó como residencia noble de la familia Buccelleni, luego, a finales del siglo XVI, pasó a la familia Ginami y más tarde a la noble familia Milesi.
Hoy es la sede municipal y alberga el MAP – Museo delle Armi Bianche e delle Pergamene (Museo de las Armas Blancas y de los Pergaminos), donde se cuenta la historia secular del pueblo fortificado de Gromo a través de una colección de espadas y armas blancas forjadas por artesanos locales.