Здание тюрьмы находилось между оврагом с обрывистыми скатами, по дну которого протекала небольшая речка, и земляным валом, окружавшим губернаторский замок. Головнин, не оставлявший мысля о побеге, сразу отметил это для себя.
Наступила ночь. В оксио зажгли бумажный фонарь со светильней, наполненной рыбьим жиром. Он освещал лишь ближайшие предметы, оставляя все остальное в непроницаемой тьме. Пленники были так подавлены новыми безотрадными впечатлениями и так утомлены многодневной ходьбой, что почти не разговаривали между собою. Но лишь наступила ночь, как солдаты князя Дзынгарского, державшие наружный караул, через каждые полчаса стали делать обход оксио с фонарями, отбивая время своими трещотками из тонких сухих дощечек.
От княжеских солдат не хотели отставать и императорские, стоявшие во внутреннем карауле. Через такие же промежутки: времени они делали обходы клетушек, в которых находились пленники, и каждый раз через решетку пересчитывали их, громко переговариваясь между собой. Лязганье замков и затворов, шум шагов, треск дощечек, голоса перекликающихся солдат — все это не давало пленникам ни минуты покоя.
Двойной черной ниткой Головнин отметил в своем журнале 30 сентября 1811 года — день прибытия в город Матсмай.
Затем потянулись дни за днями в ожидании нового допроса, на сей раз уже у самого губернатора, человека знатного и, как слышали пленники, близкого к императорскому двору.
Наконец пришел день, когда их повели в губернаторский замок. Хотя в тюрьме пленников не щадили, совершенно не давая им спать по ночам треском бамбуковых трещоток и бесконечными проверками, но на улице, во время шествия, над каждым из них работник держал зонтик, ибо шел дождь, и даже самую дорогу выстлали досками, так как было грязно. Однако, несмотря на дождь, по пути шествия русских стояли толпы любопытных.
Чтобы добраться до замка, пришлось пройти три двора. В последнем из них конвойные сняли с себя оружие и соломенные сандалии и оставили их у ворот, и пленникам велели разуться. После этого их ввели в огромное деревянное здание, которое по внешнему виду никак нельзя было назвать дворцом. Пленников выстроили перед входом в зал, занимавший всю внутренность этого здания. Передняя стена зала была раздвинута, и пленники увидели все это обширное помещение изнутри, освещенное осенним солнцем. Стены зала частью были раззолочены, частью искусно расписаны ландшафтами, на которых много раз повторялось изображение вулкана Фузи-Яма — свидетеля вечности, взирающего со своей заоблачной высоты на юдоль земной человеческой жизни. Вершина вулкана была покрыта снегом. А рядом с вулканом, на скале, поросшей низкими соснами, была изображена священная птица — журавль — цвета свинца, с белой косицей, напоминающей волосы старца.
Куда ни обращал свой взор Василий Михайлович, повсюду он видел чудесно нарисованные изображения цветов, листьев лотоса, зверей и птиц.
Одна же картина, написанная на черном шелке и изображавшая воздушный бой журавля с орлом, была исполнена с такой силой, что Василий Михайлович долго глядел на нее, забыв о том, что ожидает здесь его и его товарищей.
По обеим сторонам зала на полу сидели японские чиновники, которые шутили и смеялись, делая вид, что не замечают приведенных на допрос русских.