Семейство у пастора Реклю было многочисленное. Всего детей было восемь человек: пять мальчиков и три девочки. Элизе был вторым ребенком. Старше его был брат Эли, который сделался впоследствии известным писателем-этнографом и философом. Элизе был очень дружен с Эли с самого детства, и эта дружба сохранилась всю жизнь.
В доме у Реклю царила строгая патриархальная атмосфера, проникнутая религиозным духом. Дети с самых ранних лет приучались к труду и к скромному образу жизни. Пастор Реклю сам обучал своих детей и главное внимание обращал на нравственное воспитание. Желая сделать из своих детей истинных христиан и верных служителей Христа, пастор Реклю решил послать двух своих старших сыновей Эли и Элизе на воспитание в общину немецких духовных христиан, так называемых «моравских братьев», которые, по его мнению, лучше других сохранили в чистоте учение Христа. Сначала был отправлен старший сын — Эли, а затем и второй — Элизе.
В то время еще не было железных дорог, а путешествие в общественных дилижансах было дорого; поэтому двенадцатилетний Элизе отправился с юга Франции в Германию пешком с дорожной сумкой за плечами. Проведя в дороге несколько недель, Элизе добрался благополучно до Германии и пришел в город Нейвид, где находилась община «моравских братьев». Это было первое путешествие по Европе будущего географа и оно, быть может, пробудило в нем любознательность и любовь к путешествиям.
Город Нейвид расположен на берегу Рейна, при впадении в него реки Вид. Рейн произвел большое впечатление на двенадцатилетнего Элизе и он был очарован видом развалин старинных крепостей, замков и самим Рейном — этой великой международной рекой, рекой старинных легенд и преданий. В общине «моравских братьев» Элизе начал изучать немецкий язык, занимаясь вместе со своим братом Эли.
Пробыв у «моравских братьев» два года, Элизе вместе с Эли вернулись на родину, где и поступили в протестантский коллеж в Сент-Фуа. По окончании коллежа братья-друзья временно расстались. Старший, Эли, отправился в Женеву, где поступил в университет на богословский факультет, а Элизе поступил в протестантский духовный университет в Монтобане, чтобы подготовить себя для служения церкви.
За изучением богословских наук застала Элизе Реклю февральская революция 1848 г., которая не могла не отразиться на живом и впечатлительном юноше, каким был Элизе. Он начал зачитываться сочинениями Прудона, Пьера Леру, Шеллинга и т. п. Молодой ум жадно впитывал идеи о равенстве людей, об общественной справедливости и свободе. В скором времени Элизе становится горячим приверженцем республики.
В 1849 г. Элизе, его брат Эли и еще один их товарищ решили пойти путешествовать пешком по югу Франции и изучить жизнь народа. В одном городке они были арестованы полицией, которая их заподозрила в политической пропаганде. Все трое были отправлены в Монтобан, где и были немедленно исключены из университета.
После этого братья расстаются. Эли, заинтересовавшись философскими науками, отправился в Страсбург, чтобы там продолжать свое образование, а Элизе, потеряв веру в церковь и ее догматы, решил посвятить себя преподавательской деятельности. Он отправился снова пешком через Европу в Нейвид, в общину «моравских братьев», где ему обещали дать место преподавателя французского языка. Здесь он, однако, пробыл только один год. Жажда знания побуждала его продолжать свое образование, и он решил поступить в один из немецких университетов. Его выбор остановился на Берлинском университете, где в то время читал свои блестящие лекции по географии известный географ Карл Риттер.
Молодой Элизе Реклю очень заинтересовался лекциями Риттера и в скором времени стал усердно заниматься изучением землеведения под руководством этого профессора.
В Берлине Реклю приходилось жить крайне бедно, добывая средства для существования уроками французского языка. Летом 1851 г. Элизе отправился из Берлина пешком домой во Францию; дойдя до Страсбурга, он встретился здесь с братом Эли и оба вместе в сопровождении собаки Лизио направились в местечко Ортец, где в то время жила семья Реклю. У обоих братьев было только тридцать франков (около 12 рублей), а идти надо было нисколько сотен верст. Дорогой приходилось питаться только одним хлебом и ночевать под открытым небом.