Sulla sommità del Torraccio si ergeva nel medioevo il castello di Gagliole; costruito probabilmente da un certo Galliolo che lo avrebbe edificato nel 1035 dandogli anche il suo nome. Più probabilmente il nome del castello deriva dalla parola longobarda gahagi = recinto, e forse fu costruito tra il VII e l’VIII secolo come avamposto difensivo del Ducato Longobardo di Spoleto. Nel 1290 era di proprietà dei nobili di Massa Raniero e Galgano Bonaccorsi e vi risiedevano 14 famiglie. Inespugnabile roccaforte guelfa fu più volte inutilmente assalito dai ghibellini di Todi finché, nel 1307, acquistato dal comune di Todi fu distrutto e raso al suolo. Oggi, del castello di Gagliole restano soltanto poche rovine soffocate dalla vegetazione, aveva nelle sue pertinenze le chiese di San Bartolomeo e di San Giacomo. Quest’ultima, documentata fin dal secolo XIII, si trovava ai piedi del colle dove sorgeva il castello, lungo l'antico tracciato della via Flaminia. Perfettamente conservata fino alla metà di questo secolo oggi è ridotta ad un cumulo di macerie perché utilizzata, a più riprese, come cava di pietre.