Não deixou descendencia, motivo por que lhe succedeu no condado Dom Luiz de Portugal, segundo filho de D. Affonso, o segundo conde.
Este Vimioso tambem esteve com o pai em Alcacerquibir, e foi resgatado, mas Filippe II, por se vingar da affeição do 3.º conde ao Prior do Crato, sequestrou-lhe a casa. Andou Dom Luiz por Castella mais de trinta annos a requerer o que era seu, e só pôde rehavel-o tarde, e minguado.
Com os trabalhos e os annos reavivaram-se-lhe as tendencias para o mysticismo, manifestadas desde a mocidade. E elle e a condessa sua mulher deram ao mundo o singular espectaculo de abandonarem voluntariamente a côrte, a sua casa, os seus filhos, recolhendo-se a condessa ao convento do Sacramento, que ambos fundaram em Lisboa, retirando-se o conde para o mosteiro de Bemfica, do qual passou ao de S. Paulo em Almada, onde professou, vindo a morrer em Evora, e ahi jaz.
Na quarta parte da Historia de S. Domingos, livro terceiro, conta frei Luiz de Sousa largamente a historia d’este estranho divorcio, que por amor de Deus e sem desamor dos conjuges se effectuou.
E Garrett, no seu bello drama, tambem lhe faz referencia, quando Manuel de Sousa Coutinho diz á mulher, no segundo acto: «Olha a condeça de Vimioso, esta Joanna de Castro que a nossa Maria tanto deseja conhecer... olha se ella fazia esses prantos quando disse o ultimo adeus ao marido...»
O quinto conde de Vimioso foi D. Affonso de Portugal, primogenito do conde-frade e da condessa-freira. D. João IV, em 1643, creou-o marquez de Aguiar,[61] como premio dos serviços que prestára á causa da Restauração desde os tumultos d’Evora até ás longas campanbas de todo o Alemtejo, onde teve por émulo Mathias de Albuquerque, que o invejava.
Foi grande amador de musica, tão desvairado por ella, que em Madrid comprou por seiscentos mil réis duas violas, de bom fabricante, que o proprio Filippe IV achou caras.
D’esta paixão musical de Dom Affonso incidiu um reflexo atavico sobre o 13.º representante do titulo.
Succedeu-lhe o primogenito, Dom Luiz de Portugal. 6.º conde, que foi capitão de cavallaria (n’essa qualidade fez a campanha do Alemtejo, como seu pai), gentilhomem da camara do principe D. Theodosio, poeta, e helenista apreciavel.
Mas a todas as suas prendas fidalgas sobrelevou a da equitação, que exerceu a primor.