Anteriormente á fundação da fabrica, a Vista Alegre não tinha fóros de povoação, era uma quinta apenas. Um templo formosissimo e uma casa modesta que servia de habitação aos proprietarios da quinta, eram os unicos edificios, que ali existiam, e isto ainda no primeiro quartel do seculo XIX.
A fundação d'um tão bello templo, como é o de Nossa Senhora da Penha de França, n'um sitio tão ermo, como era a Vista Alegre, fez com que muitos principiassem a architectar romances mais ou menos verosimeis. Imaginaram-se desterros e deportações, e bem assim fofo ninho de criminosos amores d'um prelado illustre com uma dama de elevado nascimento e freira professa n'um dos conventos de Lisboa.
Não longe da Vista Alegre, a um kilometro para o sul, fica o antigo logar da Ermida, villa e concelho até 1834 a quem D. Manoel deu foral em 8 de junho de 1514. N'esta povoação houve um praso, cuja origem data de seculos, tendo por cabeça uma grande quinta denominada o Paço da Ermida. Este praso e quinta andava no senhorio dos Mouras Manoeis, familia muito illustre, pois trazem a sua descendencia de D. Branca de Sousa, filha de Lopo Dias de Sousa, grão-mestre da Ordem de Christo.
Alguns escriptores teem confundido a quinta da Ermida com a da Vista Alegre, e affirmado que foi seu proprietario o bispo de Miranda, D. Manoel de Moura Manoel.
Nem a quinta da Vista Alegre já foi conhecida por quinta da Ermida, nem tão pouco aquelle prelado foi dono de qualquer d'ellas.
É fóra de duvida que D. Manoel de Moura Manoel vinha frequentes vezes passar alguns dias e ás vezes,{7} mezes até, á quinta da Ermida, que conjunctamente com o praso do mesmo nome pertencia a seu irmão primogenito Ruy de Moura Manoel. Durante a sua estada aqui, travou relações com o proprietario da quinta da Vista Alegre, o Dr. Manoel Furtado Botelho, relações que se foram tornando cada vez mais intimas de sorte que passados annos edificou em terrenos dependentes da mesma quinta a Capella de Nossa Senhora da Penha de França.
Por morte de Ruy de Moura Manoel, passou a quinta da Ermida para seu filho Rodrigo de Moura Manoel, que tendo casado com D. Rosalia da Silva, filha de Luiz Lobo da Silva, governador e capitão general de Angola morreu sem successão, pelo que os seus bens passaram para suas irmãs. A Ermida pertenceu a D. Maria Maximilianna, casada com Jeronimo de Castilho. Por morte d'este, ficou sendo senhor d'ella seu filho Jeronimo Antonio de Castilho que conjunctamente com sua mulher D. Joaquina Izabel Freire de Castro, a vendeu por escriptura lavrada nas notas do tabellião da então villa de Aveiro, Manoel de Sousa Bastos em 15 de janeiro de 1727, a Zeferino Rodrigues Caudello. Em 17 de março de 1812 fez venda da mesma quinta ao snr. José Ferreira Pinto Basto, D. Bernarda Thereza Umbelina Caudello de Maviz Sarmento, néta do referido Zeferino Rodrigues Caudello.
O proprietario da quinta da Vista Alegre Dr. Manoel Furtado Botelho, tendo fallecido em 9 de setembro de 1733, dispoz dos seus bens como se vê da parte do seu testamento que passâmos a transcrever do livro dos obitos da freguezia de Ilhavo, no anno de 1733: «que seria sepultado na capella de Nossa Senhora da Penha de França, e deixava entre outras missas,{8} cincoenta pela alma do seu amigo o snr. Bispo que foi de Miranda. Instituia por sua universal herdeira D. Theodora de Castro Moura Manoel, de seus bens, e que esta poderia vender d'elles o que lhe parecesse para dividas e ser freira sem constrangimento de pessoa alguma nem justiça alguma lhe tomaria conta, nem lhe fariam inventario; e os bens que ficassem por sua morte d'ella, iriam ao usufructo do seu testamenteiro o padre licenciado Domingos Ferreira da Graça, cura de Ilhavo, e por morte d'este a Nossa Senhora da Penha de França da Vista Alegre, que entrando na posse seria obrigada a fabrica da capella a fazer uma festa á dita Senhora em 8 de setembro de cada anno, da qual o capellão daria contas ao Dr. Vizitador.»
Não foram, ao que parece, totalmente cumpridas as disposições do testador, pois é certo que os seus bens tiveram um destino muito differente do que o que lhe havia marcado.
D. Theodora de Castro Moura Manoel era como o proprio nome o indica filha do bispo de Miranda, a quem pertencia tambem o appellido Castro pois o houve de sua mãe, D. Maria de Castro. Aquella senhora, destinada segundo parece para a vida claustral, não tomou o habito, nem tão pouco chegou a casar, mas teve um filho, a quem deu o nome de seu pae, d'ella, Manoel Pereira de Moura Manoel, que ordenando-se foi abbade da freguezia de S. Romão de Guimarães.