O Castelo Futebol Clube foi fundado em 1° de janeiro de 1930 por Luiz Nemer, no município de Castelo, na região Sul do Espírito Santo, substitui o nome de Sport Clube Alfaiate. O Castelo é representado pelas cores preto e branco, e em 1955 foi reconhecido como entidade jurídica de direito privado de “Real Utilidade Pública”, de acordo com a Lei Municipal n° 140/1955.
A primeira partida do time castelense foi marcante para os jogadores. A equipe foi jogar fora de casa, porém o veículo que transportava os atletas teve problemas técnicos, o que fez com que os jogadores seguissem a pé até o campo de jogo. Apenas oito jogadores entraram em campo para o apito inicial, alguns até com as chuteiras trocadas, abrindo o placar em cima da equipe adversária.
Em 1967, o alvinegro teve sua primeira participação no Campeonato Estadual Série A. Entre saídas e voltas das competições profissionais do Estado, em 1988 o Castelo conquistou o primeiro título profissional a nível estadual. Contra o Muniz Freire Futebol Clube, venceu as duas partidas por 3 a 2 e 2 a 0, ficando com a taça da segunda divisão.
Após voltar à elite do futebol capixaba em 1995, o clube disputou pela última vez a primeira divisão do Estadual, voltando a jogar profissionalmente apenas em 2001, na Série B capixaba. De 2002 a 2010, o Castelo focou suas atividades somente nas categorias de base.
Em 2011, retornou às atividades do futebol profissional, disputando a Série B do Capixabão. Em 2013 o alvinegro chegou à final da segunda divisão, garantindo o acesso a primeira divisão do Campeonato Estadual de 2014, após quase 20 anos.
No Capixabão de 2015, o Castelo foi novamente rebaixado à segunda divisão estadual, onde ficou até 2018 e não voltou às atividades profissionais.