Сколько можно судить по свѣдѣніямъ, какія даютъ объ этомъ дворѣ лѣтописныя и другія указанія, Берсеневъ дворъ отличался своимъ крѣпкимъ устройствомъ, а потому служилъ какъ бы крѣпостью, для заключенія въ немъ опасныхъ людей или такихъ, которыхъ надо было держать подъ стражею.
Въ 1472 г. сюда былъ посаженъ вмѣсто смертной казни Венеціанскій посолъ Иванъ Тревизанъ за то, что обманулъ Государя, хотѣлъ проѣхать въ Орду къ Хану Ахмату подъ видомъ простого купца.
Бояринъ Никита извѣстенъ своимъ посольствомъ къ Крымскому Хану въ 1474 г. Сыну его Ивану также поручались посольскія дѣла. Въ 1490 г. онъ встрѣчалъ въ теперешней дачной мѣстности Химкахъ (тогда называемой на Хынскѣ) Цесарскаго посла, а въ 1492 г. отправился посланникомъ къ Польскому Королю въ званіи Боярскаго сына, которое въ то время означало не рядового помѣщика, а прямого сына боярина. Въ 1502 г. онъ ѣздилъ посланникомъ въ Крымъ къ государеву другу, къ хану Менгли Гирею. Все это обнаруживаетъ, что Иванъ Берсень, конечно за свои способности, пользовался значительнымъ вниманіемъ со стороны государя Ивана III. Очень умнымъ человѣкомъ онъ оказался и при сынѣ государя, при первомъ царѣ Васильѣ Ивановичѣ, съ которымъ однако онъ очень не поладилъ и подвергся большой опалѣ. Имѣя несчастіе быть умнымъ человѣкомъ, онъ относился съ разсужденіемъ очень критически къ наступившей при Василіи Ивановичѣ крутой перемѣнѣ во внутренней политикѣ новаго государя, когда вмѣсто Единодержавія и Самодержавія, столько полезнаго для государства, появилось на поприщѣ Управленія Государствомъ безграничное и свирѣпое Самовластіе, развившееся до сумасшествія при Иванѣ Грозномъ.
Берсень виноватымъ оказался за то, что говорилъ Государю встрѣчно, т.-е. съ противорѣчіемъ, по какому-то поводу о Смоленскѣ.
Новый Государь не любилъ такихъ возраженій и крикнулъ на него: «Поди, смердъ, прочь, ненадобенъ ты мнѣ«. Тутъ и послѣдовала на него опала.
Бесѣдуя нерѣдко съ пріѣзжимъ ученѣйшимъ человѣкомъ того времени, съ Максимомъ Грекомъ, Берсень такъ описывалъ происходившую на Руси перемѣну въ отношеніяхъ и дѣлахъ:
«Государь (Васил. Ив.) упрямъ и встрѣчи противъ себя не любитъ; а кто молвитъ противъ государя и онъ на того опалится. А отецъ его Вел. Князь противъ себя встрѣчу любилъ и тѣхъ жаловалъ, которые противъ него говаривали… Добръ былъ Князь Великій Иванъ и до людей ласковъ, и пошлетъ людей на которое дѣло, ино и Богь съ ними; а нынѣшній Государь не потому ходитъ, людей мало жалуетъ. А какъ пришла сюда мать Вел. Князя, Софья съ вашими Греками, ино Земля наша замѣшалась; а дотолѣ Земля наша Русская жила въ тишинѣ и въ миру; теперь пришли нестроенія великія, какъ и у васъ въ Царегородѣ. Вѣдаешь ты самъ, а и мы слыхали у разумныхъ людей, которая Земля переставливаетъ обычаи свои, и та Земля не долго стоитъ; а здѣсь у насъ старые обычаи Князь Великій перемѣнилъ… Нынѣ Государь нашъ, запершися, самътретей у постели всякіе дѣла дѣлаетъ… Таково несовѣтіе и высокоуміе…»
Правда, что Берсень отстаивалъ ветхозавѣтную старину. но старину съ извѣстной стороны очень добрую, которая, быть можетъ, не допустила бы развиться такому государственному безобразію, какимъ явился свирѣпый самовластитель и губитель Иванъ Грозный.
Новое поведеніе государя, не ограниченное правомъ боярской Думы и Совѣта, являлось, по убѣжденію бояръ, зловредной новостью, которая въ боярской же средѣ естественнымъ, вполнѣ логическимъ путемъ привела къ общей Смутѣ и чуть не къ погибели Государства.
Какъ бы ни было, но за такія разсужденія и обсужденія Берсень попалъ въ опалу. Въ 1523 г. у него былъ отнятъ его дворъ, на которомъ тогда была помѣщена княгиня Шемячичева, жена послѣдняго удѣльнаго Сѣверскаго князя, внука знаменитаго Дмитрія Шемяки, коварно призваннаго въ Москву и посаженнаго въ оковахъ въ тюрьму.