Un torreón redondo situado al final de la muralla, deteriorado por los ataques de la armada holandesa capitaneada por Pieter van der Does en 1599, fue reedificado por Francisco de la Rúa, tras la derrota de los holandeses en esta zona. Esta nueva edificación recibió el nombre de Castillo de Casa Mata, conocido hoy como Castillo de Mata, puesto que su función era la de guardar la muralla de la ciudad, haciéndose por ello en forma de casamata.

Fray José de Sosa se refiere a él como un pequeño castillo muy fuerte, compuesto por un “torreoncillo de dos o tres piezas” que complicó la entrada de los holandeses en la ciudad, barriendo su ejército por el paramento exterior con sus fuegos. El castillo se hizo acasamatado, lo que permitió que tuviese capacidad para instalar 2 o 3 piezas de artillería con las que defender la muralla; disponiendo para ello de 9 cañones. Hasta 1780, en el baluarte solo había “un mal nicho debajo del terraplén, el piso de entrada por la gola y cubierta de madera para pólvora, así como un reducido Cuerpo de Guardia sencillo, de piedra y barro, que estaba arrimado por el interior sobre el terraplén a la gola”. En 1780 se reconstruyeron los parapetos, las troneras, las explanadas, las banquetas, las escaleras de comunicación, los almacenes de pólvora, el pertrecho y el Cuerpo de Guardia; los parapetos “estaban aspillerados para fuego de Infantería”, elevados para que desenfilasen de la altura del frente. El castillo cuenta con varias adiciones posteriores. Sirvió de alojamiento para las fuerzas del cuerpo de artilleros del ejército español hasta 1997. En la actualidad, alberga el recinto del Museo de la Ciudad y el Mar Castillo de Mata.