Le lotte tra Guelfi e Ghibellini segnarono tragicamente le nostre valli tra il XIV e XV secolo.
I “brembilleschi”, appellativo dato agli abitanti di Brembilla, erano ferventi e rissosi ghibellini e, con il sostegno di Bernabò Visconti, signore del ducato di Milano, eressero nel 1360 sul Castello di Cornalba (l’attuale Castello della Regina) e sul Monte Pizzidente (Canto Alto) delle piccola bastie in legno, che costarono costate alle casse di Bernabò Visconti 4000 lire. Le bastie, a causa dei frequenti scontri con i guelfi dei paesi confinanti, vennero distrutte nel 1362 e nel 1368, ma furono ricostruite interamente in pietra nel 1383, al costo di 5200 lire, spesa per buona parte finanziata da Rodolfo Visconti e poi riscattata dai brembillesi con la tassa sul sale.
Contemporaneamente alle turbolente vicende del Castello della Regina, i brembillesi si resero tristemente protagonisti di crudeli e spietate scorribande ai danni di guelfi locali, estese fino in Valle Seriana, Val San Martino e bassa bergamasca, al punto da guadagnarsi il poco lusinghiero appellativo “Maledetti brembilleschi”; si presume che i brembillesi godessero dell’appoggio e dell’aiuto dei Suardi, una delle più potenti famiglie di Bergamo di fede ghibellina.
Ma chi la fa, l’aspetti: infatti il 20 agosto del 1383 un manipolo di 250 guelfi della Valle Brembana tentarono l’ennesima distruzione del piccolo fortilizio, e furono respinti. Per rivalsa del fallito tentativo, uccisero Persvallo dei Pesenti e sequestrarono le sue 80 mucche e 600 pecore; a loro volta i ghibellini brembillesi ferirono a morte il nipote di Merino Olmo.
Dopo questo ultimo tragico avvenimento, seguirono altri scontri tra la Val Brembilla e la Valle Brembana, che non sfociarono però in episodi gravi.
Secondo il Chronicon Bergomense Ghelpho-Ghibellinum di Castello Castelli, in quel periodo nella piccola bastia erano presenti un castellano, 8 soldati, un cane e un soldato. L’apparente calma in corso però durò poco e nella giornata di mercoledì 5 settembre 1403 la bastia fu oggetto di una rappresaglia della brigata agli ordini del guelfo Bertazzolo dei Boselli di San Giovanni Bianco e dei soldati di Giovanni dei Sonzogni di Sussia: fu catturato il castellano e altri cinque dei presenti in quel momento, senza però procurare loro alcun male, ma venne distrutto il piccolo fortilizio le cui porte furono trasportate nella piazza di San Giovanni Bianco in segno di vittoria.