Во второй половине 1791 года Виктор Павлович получил первый офицерский чин — подпоручика. С этого собственно времени началась его военная карьера.
Служба была в то время в гвардейских полках легкая. Производство шло быстро.
Через четыре года Виктор Павлович был уже капитаном.
Сергей Сергеевич Похвиснев уже давно, ввиду достижения опекаемым совершеннолетия, звал его в Москву для принятия в свое заведывание имения и капиталов.
К чести опекуна, надо сказать, что он умножил и без того громадное состояние молодого Оленина.
Это состояние заключалось в нескольких имениях, в черноземных полосах России, населенных десятками тысяч душ, и наличном капитале в несколько сотен тысяч рублей.
В феврале 1796 года Виктор Павлович взял отпуск и поехал в Москву.
Там он застал множество перемен к лучшему, в смысле общественного оживления.
Праздного богатого дворянства проживало тогда в Москве множество. Балы в благородном собрании были многолюдные; нередко число посетителей доходило до семи тысяч.
Молодой богатый капитан гвардии, вращавшийся в петербургских придворных сферах, побывавший в чужих краях и, следовательно, обладавший неподдельным европейским лоском, красавец собою, Виктор Павлович естественно был желанным гостем гостеприимных московских гостиных и героем балов и вечеров, даваемых московскими магнатами.