L’edificio della dogana appare in piena attività sotto Cangrande Della Scala, ma probabilmente fu costruito sotto Alberto I Della Scala a cui si devono numerose opere militari come il castello di Sirmione.