Проект дома, как было уже сказано, Поленов делал сам. Ему хотелось, чтобы дом напоминал имоченский. Отчасти он так и сделал, но все же расположение комнат, обусловленное их значением, продиктовало и необходимость фасада очень несимметричного, «иррегулярного». Планировка дома и внешний его вид несколько напоминают старые английские поместья, где все было подчинено удобству и функциональному назначению каждой комнаты.
Центром первого этажа стала библиотека, большая комната с камином, на который Поленов ставил керамические статуэтки и кувшинчики, подаренные друзьями — художниками, работавшими в абрамцевской керамической мастерской. Одна дверь вела в кабинет Поленова, другая — в «игральную» комнату, предназначенную для игр и занятий детей.
«Игральная» просуществовала не очень долго. После смерти в 1895 году матери, а в 1898 году Елены Дмитриевны Поленов перевез в усадьбу все их имущество: портреты предков, бюро красного дерева, на котором Алексей Яковлевич Поленов писал трактат об освобождении крестьян, живописные работы матери, археологические коллекции отца, старую родительскую мебель. И комната, которая поначалу называлась «игральной», стала теперь «портретной» — посвященной памяти предков. В том виде, какой придал ей Поленов, она сохраняется по сей день.
Для детей, для их летних игр, была построена неподалеку от дома бревенчатая избушка, совсем как из сказки.
Огромное окно библиотеки и дверь, ведущая на террасу, открывают вид на Оку, реку величественную, одну из самых прекрасных рек в России, воспетую поэтами от Языкова до Заболоцкого.
На первом этаже в кабинете Поленова находились коллекции старинного оружия, книжные шкафы, широкий удобный диван, покрытый пестрой восточной материей, висела картина «Река Оять».
Большая же часть картин — и самого Поленова, и его друзей — была в библиотеке: «Абрамцево» Репина и его же этюд к «Садко» — голова индийской царевны, «Бор в Сестрорецке» Шишкина, «Неаполь» Сурикова, «В гостях у соседки» Малютина, картины, этюды, эскизы Остроухова, Левитана, Архипова, Сергея Иванова, портрет Натальи Васильевны, написанный Николаем Кузнецовым в 1885 году, портрет бабаши Воейковой, писанный Крамским, «Ворон» Васнецова, которого Поленов купил с выставки, а под ним — эскиз к «Богатырям», подаренный Васнецовым еще в 1876 году в Париже. Картину свою Васнецов закончил в 1898 году; тогда Поленов и получил эскиз, подаренный двадцатью двумя годами раньше. «Ворон» и «Богатыри» висят — одна под другой — в углу библиотеки. В другом углу — между дверью в «портретную» и окном — удивительная «Мадонна», написанная в XIV веке мастером Сиенской школы, и подлинная картина Веронезе, которым Поленов не переставал восхищаться с того самого дня, когда, будучи пенсионером Академии художеств, в Венеции впервые увидел полотна этого мастера.
Была еще на первом этаже столовая; временный флигель, построенный в Бёхове, перенесли в Борок, поставили подле дома, и в нем, соединенном теперь с домом крытым коридором, разместились кухня и другие служебные помещения.
Комнаты второго и третьего этажа были жилыми: спальня, мастерская Поленова, кабинет Натальи Васильевны, детская, несколько комнат для гостей, которые, надеялся Поленов, будут приезжать к нему. На краю усадьбы оказался подпочвенный родник, и на этом месте был вырыт колодец.
Подле дома расположились: конюшня, каменный сарай, погреб, коровник и дом для рабочих, которые время от времени выполняли какие-нибудь работы, так, в столярном сарае местный крестьянин Иван Михайлович Никишин, очень толковый и дельный мастер, сделал по чертежам Поленова несколько лодок. В связи с этим почти у самой реки построено было то, что Поленов именовал «адмиралтейством», — сарай из плетеных прутьев, обмазанных глиной, крытый дранью.