Castel Sant’Elmo è una fortezza medievale sorta intorno al 1300 dove si trovava, nel X secolo, una cappella dedicata a Sant’Erasmo, da cui Eramo, Ermo e poi Elmo, che diede il nome attuale della fortezza. In origine era una torre d’osservazione normanna (chiamata Belforte), e fu Roberto d’Angiò a commissionare all’architetto Tino da Camaino nel 1325 la costruzione del Palatium castrum, i cui lavori si conclusero nel 1343 sotto il regno di Giovanna I d’Angiò.
Tra il 1537 e il 1547 Castel Sant’Ermo, chiamato poi Sant’Elmo, fu ricostruito su commissione del Vicerè spagnolo Don Pedro De Toledo ed assunse l’attuale pianta stellare a sei punte.
Nel 1587 un fulmine colpì il castello distruggendo le dimore di castellani e militari e la chiesa interna. L’edificio fu quindi ricostruito tra il 1599 ed il 1610 dall’architetto Domenico Fontana.
I sotterranei del castello sono sempre stati usati come prigioni, ma tra Seicento e Settecento il castello diventò un carcere, qui fu prigioniero anche il filosofo Tommaso Campanella, e fu sede di moti rivoluzionari nel 1799, quando fu preso dal popolo ed assediato dai repubblicani che proclamarono nella Piazza d’Armi la Repubblica Napoletana. Castel Sant’Elmo, dopo il crollo della repubblica, fu ancora prigione, dove furono rinchiusi Giustino Fortunato, Domenico Cirillo e Luisa Sanfelice, e restò carcere militare fino al 1952.