Mutta varallisuuden ja hyvinvoinnin mukana seurasi myös erimielisyys. Cabet näyttää olleen jonkinlaisena diktaattorina joukossaan aina vuoteen 1850 asti. Silloin hän vaati yhdyskunnan jäseniltä ehdotonta puhtautta elämän tavoissa ja oli sangen kärkäs moittimaan rikoksista näitä vaatimuksia vastaan. Sillä tavoin hän ehkä ensiksi sai muutamia vihollisia itselleen omien alamaistensa joukossa. Vuonna 1850 hän sitten esitti kansallensa perustuslain joka hyväksyttiin käytäntöön otettavaksi. Sen mukaan hallinto annettiin kuusihenkisen johtokunnan käsiin, jonka jäsenistä viisi edusti erikoista hallinnon haaraa, siten että ensimmäisellä oli hallussaan raha-asiain ja talouden hoito, toisella vaatetus ja asuntoasiat, kolmannella kasvatus, terveys ja huvitus, neljännellä teollisuus ja maanviljelys ja viidennellä kirjapainoasiat. Kuudes taas oli sekä johtokunnan että koko yhdyskunnan presidenttinä. Yleinen kansankokous oli ylin lainsäätäjävalta. Presidentiksi valittiin nyt joka vuosi Cabet. Hänen toimintansa kävi kuitenkin vuosi vuodelta yhä tiukemmaksi ja vaativaisemmaksi, samalla kuin hän yhä edelleen tahtoi ylläpitää ehdotonta sanontavaltaansa. Se synnytti monissa jäsenissä pahaa verta, ja hänen kannattajajoukkonsa alkoi vähetä. Sentakia hän yht’äkkiä keskellä tilivuotta 1855 vaati että perustuslaki oli korjattava siihen suuntaan että presidentti valittaisiin neljäksi vuodeksi ja että hänellä sinä aikana olisi oikeus erottaa ja nimittää kaikki alemmat virkamiehet. Vaatimusta vastaan nousi suuri joukko jäseniä, eikä se laiksi tullutkaan. Päinvastoin kansankokous, jossa äänioikeus oli jokaisella 20 vuotta täyttäneellä miespuolisella jäsenellä, oli selvästi enemmistöltään Cabetia vastaan. Muut hallintomiehet olivat taas hänen puolellaan. Vaivoin saatiin uhkaava yhteentörmäys kuitenkin tällä kerralla vältettyä, mutta 1856 elokuussa tapahtui sittenkin lopullinen rymäys. Tällöin valittiin johtokuntaan kolme Cabetin suoranaista vastustajaa, joita muut hallitusmiehet eivät suostuneet ottamaan vastaan. Siitä seurasi monenlaista sekasortoa, jossa vastalauseet ja julistukset näyttelivät pääosaa ja toisinaan johtivat väkivallan tekoihin. Paikkakunnan viranomaiset asettivat silloin väkisin valitut virkailijat toimiinsa. Cabet kannattajineen tästä sydämmistyi. He muuttivat eri rakennuksiin asumaan ja taukosivat työnteosta kokonaan. Vastapuolelta tämän johdosta annettiin julistus että jotka eivät ota osaa työntekoon, heidän ei liioin anneta syödäkään.
Kun näin Cabet kannattajineen näki valtansa ehdottomasti menneen, lähettivät he anomuksen valtion lainlaatijakunnalle vaatien yhdyskunnan lupakirjan peruuttamista. Tämä toimenpide, jonka tarkoituksena nähtävästi oli kukistaa koko siirtola ehdolla millä tahansa, sai kansankokouksen vimmoihinsa, ja Cabet erotettiin "yksimielisesti" yhdyskunnasta. Mieli synkeänä ja toiveissaan pettyneenä hän marraskuussa 170 uskollisen kannattajansa kanssa läksi St. Louisiin, jossa mielenliikutuksesta aiheutunut sydämmen halvaus lopetti hänen päivänsä viikon kuluttua sinne saapumisestaan.
Icarialaisliikkeen isä, alkaja ja perustaja ei siis varsin onnellista loppua nähnyt. Erotettuna itse perustamansa siirtolan jäsenyydestä, tavallaan maanpakolaiseksi tuomittuna hän kuoli kaukana isänmaastaan hyvää tarkoittavassa itsekkäisyydessään katkerana itse kasvattamiaan oppilaita kohtaan. Hän ei uskonut toisten voivan asioita hoitaa, halusi sentakia itse olla ainoana päämiehenä, jolle toiset johtovallan luovuttaisivat kansanvaltaisuudenkin vallitessa. Kun se toivo ei täyttynyt, halusi hän ennen hävittää oman työnsä hedelmät kuin niiden johtoa muihin käsiin uskoa. Siksi sanomme että hänen itsekkyytensä oli hyvää tarkoittavaa — yhtä vaarallinen laji itsekkyyttä kansanvaltaisessa yhdyskunnassa kuin se on selvä todistus omistajansa täydellisestä epäuskosta johdettavain usein vain vaistomaiseen ymmärrykseen.
Cabetin kuoltua hänen uskollinen joukkokuntansa joutui aivan epätoivoon; muutamat niin syvälle tähän epätoivoon vaipuivat että tekivät itsemurhan. Kun heillä ei ollut mitään toiveita uuden yhdyskunnan aikaansaamisesta, sijoittuivat he toistaiseksi St. Louisiin jossa ryhtyivät työhön. Yhteytensä he kaikesta huolimatta pitivät voimassa. Yhdessä he julkaisivat lehteä nimeltä "Revue Icarienne", jossa he yhä aatettansa koettivat tutuksi tehdä. Sitäpaitsi heillä oli omat sivistysharrastuksensa, lukusalinsa, musikaaliset ja teatraaliset toimintansa.
Toista vuotta he näin yhteytensä säilyttivät mitään omaa asuntopaikkaa omistamatta. Keväällä 1858 he ostivat 28 eekkeriä käsittävän maapalstan St. Louisin vierestä, maksaen siitä 25,000 doll. Paikka tunnettiin nimellä Cheltenham. Loistavat eivät uuden yhdyskunnan edellytykset olleet. Icarialaisilla ei luonnollisesti ollut suuriakaan varoja, ja he sentakia heti alussa velkaantuivat. Seutu oli sitäpaitsi epäterveellinen eikä juuri erityisesti puoleensa vetävä. Mutta kuitenkin he parastansa yrittivät. Ammattilaiset kävivät työssä kaupungissa ja toiset laittoivat maatilaa. Cabetin nimi oli heille apuna. Ranskassa oleva icarialaisten päätoimisto tunnusti heidän yhdyskuntansa ainoaksi oikeaksi ja sieltä he saivat tuntuvasti apuvaroja. Vuoden kuluttua oli yhdyskunta sentakia jo aineellisesti sangen hyvällä kannalla ja menestymistoiveet suuret.
Mutta silloin erimielisyyden paholainen taas ilmestyi heidän keskellensä. Riita jälleen syntyi perustuslaista ja hallinnosta. Toiset, Cabetin alkuperäiset asetoverit ja joukon vanhemmat vaativat että hallintovalta oli keskitettävä yhden henkilön käsiin, samoin kuin Cabet oli vaatinut Nauvoossa; nuoremmat taas tahtoivat täysin kansanvaltaista hallitusta. Erimielisyys kehittyi niin kiihkeäksi että kun vanhemmat lopullisesti asiasta ratkaistaessa pääsivät voitolle läksi nuoremmista viitisenkymmentä jäsentä tiehensä koko yhdyskunnasta. Sitä ei nuori siirtola voinut kestää, vaan 1864, viisi vuotta tämän eron jälkeen se taukosi olemassaolostaan. Yhdyskunnan viimeisistä vuosista sen viimeinen ylistetty presidentti A. Sauva kirjoittaa näin:
"Tämän eroamisen jälkeen yhdyskunta kaikin tavoin riutui. Monia ymmärtäväisempiä jäseniä, monia taitavimpia ammattimiehiä oli niiden joukossa jotka erosivat ja tappio oli korvaamaton. Pienentynyt yhteiskunta taisteli uhraavaisesti viisi vuotta eteenpäin, huolimatta vastuksellisten tapahtumain sarjasta, jotka näyttivät salaa liittoutuneen sitä kukistamaan; ja 1864 oli jälellä vain kahdeksan miestä, seitsemän naista ja muutamia lapsia. Kiinnityksen omistaja ahdisti maksua ja uhkasi anastaa omaisuuden. Rahastot olivat tyhjät eikä ollut mitään tehokkaita tulolähteitä. Agitatiooni oli loppunut, eikä mitään apua kuulunut Ranskasta. Viimeinen ponnistus tehtiin kuitenkin vielä. Kaksi jäsentä lähetettiin Nebraskaan etsimään soveliasta seutua valtion maista; mutta heidän palatessaan oli moraali niin heikennyt ja siirtoa varten tarvittavia rahoja puuttui niin täydellisesti että siitäkin aikomuksesta oli pakko luopua."
Nauvoossa oleva yhdyskunta ei myöskään kestänyt sitä voimain vähennystä, kun Cabet kannattajineen sieltä lähti. Heidän asiansa rupesivat luistamaan huonosti, velat lisääntyivät ja sitä mukaa innostus väheni. Mutta heillä oli kuitenkin paluutie tavallaan turvattu. Huomattava nimittäin on että Cabetin siirtyessä kansansa kanssa Nauvoon, pidettiin sinne asettumista vain väliaikaisena toimenpiteenä, koska se seutu ei icarialaisten varsinaisille tarkoituksille sopinut pienuutensakaan takia. Pari vuotta siellä oltuaan he olivat sentakia ostaneet 3,000 eekkeriä käsittävän maa-alueen Iowassa, joka Nauvoon yhdyskunnan nimissä yhä vielä oli. Kun nyt asiat rupesivat luistamaan vinolleen Nauvoossa, päättivät jäsenet 1857 siirtyä sieltä tänne Iowan alueelle ja jättää yhdyskuntansa velkojain käsiin. Tämän päätöksensä he toteuttivatkin kolmea vuotta myöhemmin, siirtyen asutuilta seuduilta tänne tiettömään korpeen, jossa kaikki oli aivan alkuperäisellä luonnon kannalla. Siellä he koettivat ponnistella uudisasukkaitten luontoperäisellä sitkeydellä kaikkia luonnon vastuksia vastaan, mutta ylen huonolla menestyksellä. Yhä useampi jäsenistä kyllästyi yksitoikkoiseen rasittavaan elämään, yhä useampi vetäytyi yhdyskunnasta pois; tämän ohella heidän kiinnityslainansa kantoi, kymmenen prosenttia korkoa, ja kun eivät he korkoa edes jaksaneet maksaa lisääntyi se velka tavattomasti. Vuonna 1863 heidän lukumääränsä kaikkiaan teki 35 ja velka oli noussut 15,000 doll. Nämäkin viimeiset olivat jo haluttomat kaikkeen työhön, ja koko yhteiskunta oli aivan kukistumaisillaan.
Silloin puhkesi Amerikan sisällissota ja se yhdyskunnan pelasti. Heidän maansa arvo kohosi ja samoin heidän tuotteensa. Heillä oli kylliksi älyä tällöin myydä 2,000 eekkeriä maastaan, josta saivat 10,000 doll. Sillä tavoin he uudelleen pääsivät elämisen alkuun. Jäsenistö alkoi jälleen lisääntyä ja aineellinen hyvinvointi päästä alulle. Muutaman vuoden kuluttua he jo voivat ostaa takaisin osan myymästään maasta, hankkia kaikellaisia mukavuuksia.
Yhdyskunta eleli koko rauhallista elämää nyt vuosikausia erikoisemmin kuitenkaan omia aatteitaan levittämättä. Mutta vähitellen kasvoi paikkakunnalle uusi polvi, tuli uusia jäseniä ulkomaailmalta ja he toivat tullessaan uusia aatteita. Siitä ajasta, jolloin ensimmäinen "matkustus Icariaan" tehtiin, oli maailma suuresti muuttunut. Valtiollistaloudellinen työväenliike oli syntynyt vankalle pohjalle ja alkanut saavuttamaan menestystä. Pariisin kommuni oli syntynyt ja kuollut, synnyttänyt uusia ajatuksia, uusia menettelymuotoja. Nämä kaikki tunkivat myös icarialaiskylän vanhollisuuteen, jossa liikkeen ensimmäiset esitaistelijat tunsivat vain icariansa, ihannevaltionsa, jota he haaveilivat, tuntematta mitään yhteiskuntaa johtavista laeista. He olivat taistelleet tuimat taistelunsa erämaan karua luontoa vastaan, heistä oli tullut piintyneitä vanhoillisia farmareita, jotka uuden ajan mielipiteissä näkivät vain veriin piirtyneen ihanteensa sortovoimia. Niitä he eivät ymmärtäneet, oman Icariansa he vain tajusivat.