Popularmente se le conoce como «castillo», pero en realidad es una «fortaleza militar». No hay precisión alguna cuando se inició la construcción del Castillo San Antonio, sin embargo existen documentos que son testigo fiel de que el proceso de construcción fue durante la segunda mitad del siglo XVII.

Esta fortaleza militar de la colonia, fue mandada a construir para proteger a los habitantes de las constantes incursiones piratas. Está ubicada en el cerro Pan de Azúcar, desde donde domina la ciudad y a su vez puede observar las azules aguas del golfo de Cariaco y la península de Araya. Fue la fortificación más importante que protegía a Cumaná, con un diseño de estrella de cuatro puntas, cada una de las cuales apunta a un punto cardinal. Las paredes de este castillo tienen hasta 2 metros de espesor y cuenta con túneles y pasadizos que conecta con la ciudad. En esta fortaleza estuvo prisionero, en sus celdas angostas y casi sin iluminación, el Gral. José Antonio Páez en el año 1851, el motivo fue intentar derrocar el gobierno del Gral. José Tadeo Monagas, situación que trajo como consecuencia el ocaso de la carrera política del héroe llanero.

En 1906 el entonces Presidente de la República, Gral. Cipriano Castro visitó a Cumaná y ordenó su reparación al ingeniero Don Bartolomé Milá de la Roca Himiob, profesional del entonces Estado Bermúdez hoy Estado Sucre. Sobre los viejos muros coloniales levantó un segundo cuerpo de sillería con sus torreones, almenas y otros adornos de la arquitectura militar, esta obra de reparación fue inaugurada el 23 de mayo de 1906. El terremoto del 17 de enero de 1929 produjo muy graves daños a su antigua estructura, ya deteriorada por el sismo del 14 de julio de 1853. Este sismo, terminó por destruir la antigua casa de paja y barro que servía de residencia de la guardia, ubicada en la terraza. El ingeniero cumanés Jesús Salazar Boada reparó los daños en 1956. Salazar logró restaurar las paredes y corregir otros daños estructurales. Con su eficaz trabajo logró que el Castillo dejase de ser un conjunto de ruinas y escombros.

El Castillo era sede de la institución castrense hasta 1945 cuando fue construido el Cuartel Antonio José de Sucre, residencia ahora de la fuerza armada y el comando militar de la ciudad. Actualmente es una joya que guarda la ciudad muy celosamente para brindársela a propios y visitantes. Fue declarado Monumento Histórico Nacional, según Gaceta Oficial Nº 27.876 de fecha 29 de octubre de 1965. Cuenta con guías turísticos que relatan la impresionante historia de este monumento.