Gebaut von 1354 bis 1357 von Cangrande II., aus der in Verona herrschenden Familie Scala, war es sowohl eine herrschaftliche Residenz als auch ein Festungswerk. Nach wechselnden Geschehnissen diente es in der napoleonischen Epoche und unter der österreichischen Oberherrschaft als Kaserne. Nach einer kompletten Restaurierung ist es seit 1928 Museum für veronesische Malereien und Bildhauerei ab dem Mittelalter. Nach den Beschädigungen aus dem zweiten Weltkrieg wurde es vom Architekten Carlo Scarpa restauriert und das Museum neu ausgestattet. Diese Arbeit (1957-1964) gilt als bedeutendes Beispiel für internationales Museumswesen. Im Saal Boggian beherbergt das Museum auch temporäre Ausstellungen (Eingang im Hof, rechts).