Entretanto D. Manuel, caindo doente a 4 de dezembro de 1521, morreu em uma sexta-feira, 13 do mesmo mês, entre as dez e as onze da noite, deixando por cumprir as promessas de satisfazer no filho os serviços do grande Albuquerque[37].
Afonso de Albuquerque com sua mulher e família habitou o palácio de Azeitão, como consta de diversos contratos aqui celebrados e em que ambos intervieram. É de crer que, aqui no remanso do lar, fora do bulício da corte, mais livre de importúnios, escrevesse os Comentários; é possível também que, mais de uma vez, em Azeitão se encontrasse com Cristovão de Moura, no tempo em que D.ᵃ Francisca de Távora, irmã deste, casada com Álvaro de Sousa, habitou a sua casa de Alcube.
Da união de Afonso com D.ᵃ Maria de Noronha nasceram dois filhos, António, que morreu moço, e D.ᵃ Joana de Albuquerque, primeira mulher de D. Fernando de Castro, primeiro conde de Basto, capitão-mor de Évora e que faleceu sem geração.
Afonso de Albuquerque em 1568 era sem sucessor, e no dia 27 de janeiro, em Azeitão, ele e sua mulher, D.ᵃ Maria de Noronha, vincularam a quinta de Azeitão com seu assento de casas, pomar e vinha, cercados, oros havidos e por haver, e as casas de Lisboa às Portas do Mar[38], que partiam com o Dr. Luís da Veiga e com a mulher, que foi de Ayres Tavares, instituindo um hospital na igreja do bem-aventurado S. Simão, que era junto da quinta de Azeitão, para nele se agasalharem pobres caminhantes.
O título foi escrito, a rogo dos instituidores, pelo licenciado Aleixo de Albuquerque, seu capelão, e foi aprovado no dia 28 de fevereiro do mesmo ano, na quinta do Sr. Afonso de Albuquerque pelo tabelião João Rodrigues.
No hospital, a que agora se chamaria albergue, deveria haver cinco camas em memória das chagas de Cristo. Em cada cama caberiam duas pessoas e teriam seus estrados de madeira, enxergão de palha, dois cobertores de almáfega, uma manta do Alentejo, um travesseiro de lã, e outro de almáfega. As roupas e camas deveriam ser renovadas anualmente.
O albergado poderia demorar-se três dias além do da entrada, teria azeite para luz toda a noite e, durante o inverno, lenha para se aquecer e enxugar o fato. Vindo doente, poderia demorar-se cinco dias, recomendando à caridade dos administradores do vínculo, quando fosse na quinta, proverem os enfermos do necessário. Pedem aos albergados, que cada um reze cinco vezes o Padre nosso e a Avé Maria pela alma dos instituidores e de Afonso, o Grande.
Nomeiam para lhes suceder na administração do morgado seu sobrinho André de Albuquerque, que escolherá consorte na família de D. Maria de Noronha; na falta de André buscar-se-á sucessor na descendência de seu avô Gonçalo de Albuquerque, e prescrevem miudamente a forma da successão. O administrador do vínculo chamar-se-á sempre Afonso de Albuquerque, e sendo mulher tomará este appelido. Cumpre-lhe mais fazer cantar em dia de S. Simão uma missa com pregação, e que o orador peça três Avé Maria por alma dos instituidores.
Dispõem que não possa suceder no morgado o mentecapto, o abreviado de juizo, o furioso, ou herético, o que for contra o reino, a fêmea que não for virtuosa, ou fizer como tal usando mal de si; também não sucederá o que tiver defeito algum que não possa ser casado. O que não se determina é o modo de verificar-se a última inabilidade, de certo não quereriam que se fosse além das exigências da igreja romana aos eleitos para o sumo sacerdócio.
O administrador era obrigado a aumentar o vínculo com metade da terça dos seus bens livres. A inspeção anual do hospital deixavam-na a cargo do visitador do arcebispado de Lisboa, ou ao do mestrado de Santiago, conforme o que primeiro viesse à visita.