Rafał ze swym pułkiem pociągnął o milę od Wisły, do Bydgoszczy. Zastał tam już nie naczelnika siły zbrojnej polskiej, lecz tylko generała dywizji i komendanta legii pierwszej — Jana Henryka Dąbrowskiego. Legia składała się z kompanii artyleryjskiej, z czterech regimentów piechoty i jazdy pospolitego ruszenia. Mówiono wciąż o przekształceniu pułków jazdy. Trzy szwadrony miały się składać na pułk. Czekano lada chwila na rozkaz w tej materii komisji rządzącej — i ministra wojny.
Zawrzało w Bydgoszczy gorączkowe, rzec można, namiętne życie. Zwożono jeszcze broń, skóry, szyto siodła i ładownice. Krawcy nie mogli nastarczyć, nad siodlarzami żołnierz stał dzień i noc. Ściągały się jeszcze pojedynczo oddziały najświeższego składu. W jeździe pospolitego ruszenia fortragowano szybko i łatwo żołnierzy na stopnie podoficerskie, a nawet na subalternów, byleby „obiekt” posiadał choć jakie takie uzdolnienie. Ten i ów ani się obejrzał, kiedy otrzymał prawo na zamówienie u szmuklerza znaków szarży oficerskiej i miał możność przyczepienia do prawego ramienia szlufy podporucznikowskiej z dwiema jedwabnymi pręgami, kontrepoletu, feldcechu i kordonków bez bulionu. Świeżo umundurowani porucznicy połyskiwali pręgami przerobionymi granatowym jedwabiem na taśmie przez całą jej długość u szlufy, nowi majorowie z dumą wznosili ramiona obciążone dwiema szlufami, których buliony trwogą przejmowały gemajnów, a „przeciwna” taśma urągała samym kordonom u pułkownikowskiego kapelusza.
W tym samym czasie trafiały się między żołnierstwem przypadki dezercji. Pojmano kilku, przeważnie starych, jak zmiatali w stronę domową na poły bosi, obdarci, z pustymi brzuchami. Tłumaczyli się, że przy żadnym wojsku nigdy nie byli, że głód marli, że duszy w sobie nie czują. Sąd wojenny, zebrany natychmiast, skazał ich na długotrwałe ciężkie roboty w łańcuszkach, do twierdzy częstochowskiej. Na gwałt ustanawiane kresy między Bydgoszczą, Toruniem a Sieradzem do poczty listowej — musiały, w braku ludzi, odstawiać na miejsce przeznaczenia pierwszy transport... zbiegów.
Krótko to wszystko trwało. Już w pierwszych dniach lutego generał Dąbrowski wyszedł z Notecizny i pociągnął ze swoją siłą w marsz, pod rozkazy zrazu Bernadotte’a, księcia Ponte Corvo, później generała Lefebvra-Desnouettes, operującego na prawym brzegu Wisły. Rozeszła się w legii wieść: „Na Gdańsk! na Kołobrzeg!”. W marszu, na postojach, nocą na pocztach uczył starszy żołnierza, co je ów Gdańsk, gdzie i na jakiej ziemi stoi Kołobrzeg. Nieśli z sobą i rozrzucali wszędzie odezwę generała Dąbrowskiego z kwatery głównej w Nowem wydaną „Do Holendrów i wszystkich rodu niemieckiego mieszkańców na ziemi Polskiej”, której to odezwy główne punkty głosiły:
„Holendrzy, Niemcy i jakiejkolwiek religii i rodu ludzie, zamieszkali na ziemi Polskiej, którzy się zachowają w swoich domach spokojnie, żadnego z nieprzyjaciółmi kraju nie będą mieć porozumienia, zachowają wierność dla rządu polskiego, wypłacać będą postanowione kontrybucje i podatki, doświadczą wolności w wyznawaniu swojej religii, obrony swoich osób, majątków, uważani będą jako bracia i ziomkowie. Wy zaś, Polacy — głosiła odezwa — którzy wyznajecie religię katolicką, pomnijcie, że przychodnie, na waszej osiadli ziemi, przez wspólne dla kraju obowiązki stali się waszymi bracią; pomnijcie, że Ewangelia każe nam żyć po bratersku, zostawcie wolność każdemu od Boga nadaną wielbić go podług swojego przekonania i nie badając różnicy wiary bądźcie obywatelstwem połączeni z mieszkańcami, którzy przemysłem i pracą kraj wasz zbogacają...”.
Lewe skrzydło korpusu polskiego szło pod rozkazami generała „Amilkara” Kosińskiego, który grzmiał teraz ponad Brdą, w borach pomorskiego pojezierza, jak istotny Amilkar, tak przed nim chyżo Niemce uciekały. Lewe skrzydło jego oddziału sięgało Słupska, przezwanego Stolpem, i przecinało Gdańsk od Kołobrzega. Miasto Chojnice stanowiło miejsce oparcia i punkt koncentracyjny wszystkiej siły Amilkara. Dopiero około dwunastego lutego generał Łubieński z komendy Kosińskiego zmuszony był pod Szczecinkiem (Neu-Stettin), wśród wyżyny pojezierza, atakować nieprzyjaciela na czele rycerstwa z województwa rawskiego. Pokazały się znaczne siły Niemców. Była to nie tylko piechota liniowa pruska, ale nadto uzbrojeni mieszkańcy miasteczek, owi „Holendrzy i Niemcy...”. Siły te znacznie przewyższały co do liczby armię Amilkara, ale jazda rawska rzuciła się na tłum nastawionymi lancami, niewiele sobie robiąc ze strzelania, i skutek był pewny: dziesięciu położono trupem, a pięćdziesięciu zagarnięto w niewolę.
W tym samym czasie główny korpus wojska generała Dąbrowskiego nieustannie szedł naprzód. Znajdował się już na wysokim brzegu Wisły, skąd widać było po tamtej stronie rysujące się w dwumilowej odległości mury Grudziądza i Kwidzyna. W przedniej straży, która zostawała pod ogólnym naczelnictwem generała Niemojewskiego, szedł regiment jeźdźców poznańskich pospolitego ruszenia pod Dziewanowskim. Tam właśnie kwitł Rafał Olbromski.
Już pod Nowem, na brzegu Mątawy, ów regiment, dybiący zawsze na sztychu, wpadł na mocny patrol czerwonych huzarów. Była to pierwsza utarczka Rafała. Mało z niej odniósł wrażeń. Z dala ujrzał jeźdźców w burki owiniętych, przemokłych, wskakujących na koń w popłochu. Rzucił się za innymi naprzód, dobywszy pałasza, ale jeno przecwałował w kupie ze dwa stajania pola. Prusacy odrąbując się, strzelając z rzadka, gdyż mieli, widocznie, broń zamokłą, cofnęli się ku miastu na rozkiełznanych koniach pod osłonę piechoty i armat. Później dopiero Olbromski dowiedział się, że wzięto kilkunastu jeźdźców — i z podziwieniem oglądał posępnych, bezbronnych, milczących chłopów niemieckich, gdy ich miano odstawić w kierunku na Bydgoszcz. Podobnie pomyślna gratka trafiła się poznańskim kawalerom pod Opaleniem, czyli Minsterwaldem, gdzie jazda dziewanowczyków dopadła i wzięła w jasyr 16 dragonów i ośmiu piechura z przedniej straży pruskiej.
Tegoż jeszcze dnia przyszło do bitwy. Dywizja polska musiała się w niej cofnąć przed nieprzyjacielem, który z drugiego, prawego brzegu Wisły przeszedł po lodzie. Grad kul sypała artyleria konna pruska, stojąc na prawym brzegu rzeki, w młodą piechotę polską. Batalion pierwszy regimentu trzeciego pod wodzą Fiszera i batalion pierwszy regimentu czwartego pod pułkownikiem Wasilewskim zostały napadnięte bagnetem. Pomimo całej nieumiejętności, braku skałek i nabojów młode wojsko zdołało bronić się przez cały dzień i odpierało napaść, ile mogło. Pierwszy to raz sześciu trupów, poległych na placu, nocną porą zakopała wiara w zmarzłą grudę. Kilkudziesięciu rannych wyniesiono z szeregów.
Runęła już była między wojska wieść o strasznej bitwie pod Pruską Iławą. Wieść wychwalała ten bój jako zwycięstwo. Toteż nowy duch wstąpił w wojsko polskie, które przez zawieszenie blokady Grudziądza, przez wsteczny ruch wojsk prawego brzegu Wisły, mając odsłonione i wskutek zamarznięcia Wisły bezbronne prawe skrzydło, musiało było skoncentrować się o trzy z górą mile od Bydgoszczy, w Świeciu. Po rozpoczęciu około 15 lutego ponownego oblężenia Grudziądza, przy czym dwie kompanie batalionu Fiszera przeszły pod gradem kul Wisłę i przyczyniły się do zdobycia twierdzy, generał Dąbrowski ruszył znowu naprzód. Stanął wreszcie kwaterą w Gniewie nad Wierzycą. Stare mury, fosy wodą napełnione dawały tu niejaką nadzieję obrony. Mocne posterunki wysłane zostały na trakt bydgosko-gdański ku Tczewu i na drogi do Starogardu, ponad jezioro zwane Staw, ponad Wiejskie Jezioro do Rakowca, do Biały czyli Gellen, i do Królówlasu (Königswalde) nad rzeką Jonką. Z Gniewa do Gdańska zostawało jeszcze sześć mil drogi bronionej. Wojsko spoczęło i miało tu przebyć czas pewien na leżach. Tylko 56 rycerstwa z jazdy sieradzkiej, która była przebyła Wisłę, żeby wziąć udział w bitwie pod Kwidzynem dnia 11 lutego, gdzie marszałek Lefèbvre pobił na głowę generała Roquette, nie wróciło na miejsce swoje.