Le palais Milesi est un édifice du XVe siècle qui a été construit comme résidence noble de la famille Buccelleni, puis, à la fin du XVIe siècle, il est passé à la famille Ginami et, plus tard, à la famille noble Milesi.
Aujourd’hui, il est le siège de la municipalité et abrite le MAP – Museo delle Armi Bianche e delle Pergamene (Musée des armes blanches et des parchemins) où l’histoire séculaire du village fortifié de Gromo est racontée à travers une collection d’épées et d’armes blanches forgées par les artisans locaux.