Embora em franco desenvolvimento, com a lavoura de cana-de-açúcar crescendo a olhos vistos, a Vila de São Vicente também enfrentava outros problemas além da constante ameaça dos índios. A primeira ocorrência grave se deu quando o espanhol Ruy Moschera, morador de Iguape, atacou a Vila, saqueando o porto e os armazéns e carregando tudo o que ele e seus homens podiam. Antes disso, derrotou em batalha o Padre Gonçalo Monteiro, vigário e homem de confiança de Martim Afonso de Sousa.
Em 1542, ocorreu o pior desastre natural em São Vicente. O mar agitado avançou demais, engoliu a praia a entrou pelas pequenas ruas, destruindo a Igreja Matriz, a Casa do Conselho, a Cadeia, os estaleiros, o pelourinho e inúmeras casas. A Vila teve que ser reconstruída um pouco mais distante do mar.
Mas nem tudo estava resolvido. Por volta de 1560, São Vicente sofreu um maciço ataque dos índios tamoios. Eles se aproveitaram da ausência dos homens, que haviam sido chamados em uma missão de socorro no Rio de Janeiro, e queimaram as plantações, quebraram as ferramentas e utensílios agrícolas e destruíram as fazendas.
Em dezembro de 1591, a São Vicente foi saqueada pelo pirata inglês Thomas Cavendish, que retornava de um ataque a Santos. Ele e seus homens roubaram e atearam fogo em diversas partes da Vila, causando enormes prejuízos. O pirata fugiu, mas um temporal o impediu de seguir viagem Ele retornou e tentou uma nova investida. Porém, desta vez a população das duas vilas estava preparada e Cavendish foi repelido.
Em 1615, outro pirata atacou São Vicente. O holandês Joris Van Spilbergen dividiu seus homens e, enquanto um grupo saqueava a Vila para obter alimentos, o restante dos homens invadia a vila vizinha. Os piratas ocuparam o engenho e entraram em luta com os moradores locais. Os invasores foram expulsos e a vida aos poucos voltou ao normal.
Com o passar do tempo, os problemas que surgiram eram de outra natureza, principalmente econômica, em virtude do crescimento da região e de São Paulo. A tenacidade de sua gente e a mística de ter sido a Primeira Cidade do Brasil fizeram com que São Vicente enfrentasse os séculos com altivez, mantendo lugar de destaque no contexto do Estado e da Nação.
