À son retour, il créa un établissement de bains sur le Rhône, et se mit à faire le commerce des vieilles cordes et des vieux chiffons.
Un établissement de bains, c'était le vrai port de notre sauveteur!
Aussi, en 1849, sauve-t-il la vie à trois ou quatre personnes qui se noient dans le Rhône, et, entre autres, à un garçon confiseur et à un commis d'une maison de commerce.
En 1830, la compagnie du chemin de fer l'appelle à diriger le transport du charbon, entre Beaucaire et Tarascon.
Comme il n'y a que le Rhône à traverser pour aller d'une ville à l'autre, Fosse, tout en dirigeant son charbon, continue à tenir son établissement de bains, et à faire son commerce de vieilles cordes et de vieux chiffons. Cela dure jusqu'en 1854.
Le 30 janvier 1852, il reçut une médaille en or de première classe.
Le 1er octobre 1852, il fut nommé membre de la commission chargée de l'examen des machines à vapeur, et obtint par le préfet un bureau de tabac.
Le 1er janvier 1853, Fosse est nommé par le ministre des travaux publics maître du port à Beaucaire.
Dans le courant de l'année, Fosse sauve encore deux personnes qui se noient dans le Rhône: un maquignon, nommé Saunier, et un danseur espagnol qui croyait se baigner dans le Mançanarez.
En 1854, le choléra se déclare en pleine foire de Beaucaire; Fosse soigne les malades et essaye de soutenir ses compatriotes par son exemple.