La chiesa e l'ampio convento annesso, posti in prossimità del mare e del porto, sorsero presumibilmente alla fine del '300, quando scacciata dalla Terra Santa vi si stabilì una comunità di carmelitani, provenienti dal monastero del Monte Carmelo di GerusalemmeIl convento, recentemente restaurato, ha ampie dimensioni, e doveva ospitare una comunità numerosa. Fu soppresso, come la maggior parte dei conventi cittadini, nel 1809.
L'intero complesso, che ha mantenuto le forme dategli nel '600, è di proprietà della famiglia De Martino-Norante.