Как уже мы сказали, трудолюбивая деятельность была отличительною чертою его характера. Князь, владея в семнадцати губерниях имениями, каждый год обозревал обширные свои имения. Даже такие страшные вещи, как, например, холера, не удерживали его от хозяйственных забот; и в то время, когда последняя свирепствовала в Малороссии, он не побоялся приехать в свое село Ракитное, где в особенности губительно действовала эта эпидемия; не опасаясь заразы, князь всюду ходил по селу.
В домашней жизни князь чуждался роскоши; все утро его было посвящено служебным и хозяйственным делам.
Но в час обеда он всегда был рад встретить у себя своих приятелей и знакомых: он не делал разбора и различия по чинам, и, однажды приглашенные им, получали к нему доступ навсегда.
В разговоре князь был шутлив и остроумен и умел ловко подметить странности своих знакомых. Вечером князь всегда был в театре, любовь к которому унаследовал от отца, долгое время управлявшего театрами; князь, впрочем, любил только бывать в русских спектаклях.
Князь превосходно играл на скрипке и имел редкое собрание итальянских скрипок. Борис Николаевич не любил своего Архангельского и никогда не живал в нем подолгу; одно время он начал многое оттуда вывозить в свой петербургский дом, но император Николай Павлович, помнивший его Архангельское, велел сказать князю, чтобы он Архангельского своего не опустошал.
Князь никогда не давал празднеств в этом имении и, приезжая в Москву, обыкновенно останавливался в своем древнем боярском доме, подаренном, как мы выше говорили, его прадеду императором Петром II.
Дом этот в Земляном городе, в Большом Харитоньевском переулке представлял редкий памятник зодчества конца XVII века; прежде он принадлежал Алексею Волкову. Каменные двухэтажные палаты Юсуповых с пристройками к восточной стороне стояли на пространном дворе; к западной их стороне примыкало одноэтажное каменное здание, позади каменная кладовая, далее шел сад, который до 1812 года был гораздо обширнее, и в нем был пруд. По словам А. А. Мартынова, первая палата о двух ярусах, с крутою железною крышею на четыре ската, или епанчой, отличается толщиною стен, сложенных из 18-фунтовых кирпичей с железными связями. Прочность и безопасность были одним из первых условий здания. Наверху входная дверь сохранила отчасти свой прежний стиль: она с ломаною перемычкою в виде полуосьмиугольника и с сандриком вверху, в тимпане образ св. благоверных князей Бориса и Глеба. Это напоминает заветный благочестивый обычай русских молиться пред входом в дом и при выходе из него. Здесь были боярская гостиная, столовая и спальня; к западной стороне – покой со сводом, об одном окошке на север, по-видимому, служил моленною. В нижнем этаже, под сводами – то же разделение; под ним – подвалы, где хранились бочки с выписными фряжскими заморскими винами и с русскими ставленными и сыпучими медами, ягодными квасами и проч. Пристроенная на восток двухэтажная палата, которая прежде составляла один покой, теперь разделена на несколько комнат.
Здесь князь Борис Григорьевич угощал державную дочь Петра Великого, любившую верного слугу своего отца. Над палатою возвышается терем с двумя окнами, где, по преданию, была церковь; из него в стене виден заложенный такой же тайник, какой находится в Грановитой палате. Дом этот в роду Юсуповых находится около двухсот лет; в этот дом по большим праздникам сбиралась с хлебом-солью, по древнему заведенному обычаю, тысячная толпа крестьян для принесения поздравлений. Сюда же были принесены на руках теми же крестьянами смертные останки князя Юсупова для погребения в подмосковное село Спасское. Князья Юсуповы погребаются в особой каменной палатке, пристроенной к церкви; на гробнице Бориса Николаевича вырезана следующая надпись, написанная самим умершим:
«Здесь лежит русский дворянин князь Борис, княж Николаев, сын Юсупов, родился 1794 года, июля 9-го, скончался 1849 года., октября 25-го», внизу написана по-французски любимая его поговорка: «L’honneur avant tout».
В основании видны золотой крест и якорь; на первом надпись «Вера в Бога», на втором – «Надежда в Бога». Князь Борис Николаевич был женат два раза: первая его жена была княгиня Н. П. Щербатова (умерла 17 октября 1820 года); вторая – Зинаида Ивановна Нарышкина, родилась в 1810 году; во втором браке за иностранцем, графом де Шево. От первого брака сын князь Николай Борисович, родился 12 октября 1817 года. Князь считался последним в роде: сыновей у него не было – были только дочери.