Edificato alla fine del ‘300 (durante il breve periodo del dominio visconteo) e unito nel 1450 al sistema di mura medievali, nel 1801 le truppe napoleoniche ne cominciarono la demolizione, portata a termine dagli austriaci che vi costruirono una caserma fortificata (1854). Resti del castello visconteo e delle mura medievali sono ancora visibili. A dispetto del degrado dell’edificio, dalla terrazza antistante il castello (che sovrasta l’area archeologica del Teatro Romano, di cui era in origine l’ultimo terrazzamento) si può godere di un panorama incomparabile sulla città.