Dalla tarda età carolingia sino alla fine del sec. XI, quando il potere passò al Comune, il dominio di Bergamo fu esercitato in misura sempre crescente dai vescovi.
Il vescovo Adalberto, dopo la parziale distruzione delle strutture difensive da parte di re Arnolfo nell’894, avrebbe riedificato nel 904 le fortificazioni della Città. Sulla scorta di queste ipotesi, gli storici locali hanno attribuito al vescovo anche la costruzione della torre, che in realtà fu una residenza nobiliare del XII secolo. La torre è una delle poche sopravvissute tra le decine anticamente esistenti nella Città alta.