Fundado no dia 5 de setembro de 1739, pelo bispo D. Antonio de Guadalupe, o Seminário São José, o primeiro do Brasil, teve como sua primeira sede um prédio localizado na encosta do antigo Morro do castelo, nos fundos da atual Biblioteca Nacional e da Justiça Federal, onde permaneceu por 168 anos ( até 1907 ), época em que foi transferido para a Ilha de Paquetáe lá funcionou até 1924 ( por 17 anos ), voltando depois para o Continente e localizando-se em definitivo no bairro do Rio Comprido.

Em Paquetá, o Seminário São José funcionou onde hoje está o Ginásio Pedro Bruno, prédio que já foi também sede da antiga Fazenda de São Roque e onde, como já dissemos acima, o seminário funcionou por 17 anos, de 1907 à 1924, em razão de que, devido à grandes dificuldades administrativas, o então Cardeal D. Joaquim Arcoverde, decidiu fechar a sede do antigo Morro do castelo, que permaneceu assim fechada até 1924, quando foi então reaberta pelo Arcebispo D. Sebastião Leme.

Em 1985, como objetivo de oferecer mais conforto ao número sempre crescente de vocacionados, foi inaugurado,junto à sede do Rio Comprido, um prédio anexo, onde funcionam as Faculdades de Filosofia e Teologia, mais um passo fundamental para a formação de bons sacerdotes.