Su fábrica es de mampostería caliza, cimentada, en parte sobre grandes sillares de granito. Para su construcción se emplearon también lápidas de la antigua necrópolis romana. Tenía cinco puertas: Santiago, San Cebrián, San Juan, San Martín y San Andrés. El cerco de la muralla que rodea la ciudad, con un perímetro de más de 3.000 metros, nace y muere en el Alcázar.

De ellas permanecen las de Santiago y la de San Cebrián en el lado norte, y San Andrés en el lado sur. Tuvo además varios portillos: del Alcázar, de la Fuente Cercada, Picado o de San Matías, de San Juan, del Consuelo, de la Luna, del Sol y del Obispo. Actualmente sólo se conservan el del Consuelo y el de San Juan, y a finales del siglo XX se reconstruyeron los de El Sol y La Luna.