Однако назначеніе Семена Лукьян. воеводою противъ Татаръ показывало, что его положеніе при дворѣ стало колебаться, такъ какъ должность кравчаго требовала постояннаго присутствія при государѣ, а между тѣмъ его удаляли отъ государя и притомъ прямо подь Татарскія сабли. Должно полагать, что эта посылка предложена была къ его же чести, съ объясненіемъ, что онъ храбрый и распорядительный воевода. Но подобный почетъ для такихъ близкихъ къ государю лицъ почти всегда устроивался дворскими интригами.
На другой же годъ это вполнѣ подтвердилось тѣмъ, что Семенъ Лукьяновичъ былъ внезапно отставленъ отъ должности кравчаго (послѣ 6 іюня 1647 г.).
6 іюня въ Троицынъ день у Троицы въ Сергіевомъ монастырѣ за государевымъ столомъ онъ еще исполнялъ эту должность, а 28 іюля, вмѣсто него, кравчимъ является Петръ Мих. Салтыковъ.
«Завистію и ненавистью на отлученіе (отъ государя)», пишеть Артамонъ Серг. Матвѣевъ, тоже неповинный страдалецъ, «извѣтъ былъ на Семена Лукьяновича составной и наученой о волшебств ѣ. и за тотъ извѣтъ страдалъ невинно, честь была отнята и сосланъ былъ на Вологду. А животы и помѣстья и отчины и дворы не отняты», прибавляетъ Матвѣевъ, описывая, что очень многіе такъ страдали, но имѣнія у нихъ не отнимали, не такъ, какъ были отняты у него самого.
По всему вѣроятію, отлученіе Стрѣшнева отъ государевой милости было устроено всемогущимъ временщикомъ, дядькою молодого царя, Б. И. Морозовымъ, который, по свидѣтельству Олеарія, очищалъ себѣ мѣсто, удаляя ближайшихъ къ государю людей, особенно его родственниковъ, дабы не могли они своимъ вліяніемъ вредить его всемогуществу. Время отлученія сближается съ печальнымъ для государя событіемъ въ его жизни, съ разстройствомъ его брака съ избранною невѣстою Евфиміею Всеволожскою (Дом. Бытъ Царицъ, 260, 261). Очень вѣроятно, что и волшебство Стрѣшнева входило въ кругъ интригъ по разстройству этого брака.
Почти четыре года Семенъ Лукьяновичъ находился въ опалѣ. Но видно правда восторжествовала и невиновность его была доказана.
30 марта 1651 г. въ праздникъ Пасхи государь простилъ его и пожаловалъ изъ дворянъ, какъ онъ былъ разжалованъ, прямо въ окольничіе. Само собою разумѣется, что прежняго довѣрія государь уже не могъ ему оказывать, ибо послѣ всякой клеветы всегда остается что-либо непріязненное и опасливое.
Теперь онъ только сопровождалъ государя въ числѣ другихъ окольничихъ на торжественныхъ и богомольныхъ выѣздахъ и однажды, 2 іюня 1652 г. во время похода къ Троицѣ, когда въ Москвѣ случился большой пожаръ, былъ отпущенъ съ дороги на этотъ пожаръ для необходимыхъ распоряженій и наблюденій вмѣстѣ съ избранными для того боярами, въ числѣ которыхъ находился и Василій Иван. Стрѣшневъ. Пожаръ продолжался дня четыре, такъ что и самъ государь поспѣшилъ возвратиться съ богомолья.
Во время начинавшейся Польской войны въ 1653 г. октября 5 Семенъ Лукьяновичъ получилъ назначеніе собираться съ ратными людьми во Псковѣ въ товарищахъ съ главнымъ воеводою В. П. Шереметевымъ, который долженъ былъ собирать войско въ Новгородѣ, а потомъ идти на рубежъ и начинать войну, захватывая Литовскіе города.
Неизвѣстно, каково было начало этого похода, но въ лѣтніе мѣсяцы 1654 года Семенъ Лукьян. съ большимъ успѣхомъ забиралъ разные Литовскіе города. Такъ, 24 іюля пришла государю вѣсть, что онъ взялъ города Дисну и Друю; потомъ 20 августа государь получилъ извѣстіе, что онъ взялъ городъ Озерище, а 1 сентября, — что взялъ городъ Усвятъ. Въ февралѣ 1655 г. онъ былъ отозванъ въ Москву, куда возвратился изъ похода на время и самъ государь. 11 марта государь снова отправился воевать съ Польскимъ королемъ и, идучи къ молебну, былъ въ Золотой полатѣ и тамъ пожаловалъ Семена Лукьян. въ бояре, повелѣвъ ему идти съ собою въ его государевомъ полку.