A Fortaleza foi edificada sobre a única rocha do lado esquerdo do estuário, dentro de extensa área de várzea que integra o Distrito de Vicente de Carvalho. Foi levantada em cima das rochas, com blocos grandes de pedras unidas por mistura de óleo de baleia e cal de sambaqui, à flor d´água, com o intuito de defender a margem oriental do estuário; de sua muralha avista-se toda a Vila de Santos, protegendo-a dos invasores, é o que destaca documento do século XVII, incluindo a Fortaleza como importante praça militar no mapa da Capitania de São Vicente. Como todos os fortins e fortalezas do Brasil, a Fortaleza do Itapema também passou por sucessivas épocas de abandono, reconstruções e reformas.

Em 1670, seu capitão era o paulista ilustre Pedro Taques de Almeida, que executou sua primeira ampliação. Entre 1735 e 1738, a Fortaleza foi novamente reconstruída e aparelhada com artilharia de grosso calibre. Em 1836, o marechal Daniel Pedro Müller relata que a Fortaleza tinha uma guarnição e um oficial. Os últimos canhões que se viram sobre a muralha em defesa do estuário datam de 1850.

Em 1883, a Fortaleza sofreu violento incêndio, que a deixou totalmente arruinada. Ainda no século passado, a Intendência Geral da Guerra entregou-a aos cuidados da Alfândega de Santos, que, em 1908, mandou construir um posto de fiscalização, com uma torre dotada de holofotes, para melhor iluminação do estuário e combate ao contrabando. Essas instalações foram totalmente destruídas por um incêndio em 1976. Hoje estão no local depósitos, laboratórios e garagem de barcos da Receita Federal.