Il padre lo lasciò libero di fare a modo suo e il ragazzo, andatosene, trovò in una vicina città di provincia un fabbro ferraio il quale acconsentì di dargli vitto ed alloggio, purchè nelle ore in cui era libero dalla scuola gli tenesse i libri di bottega.
A quindici anni il futuro milionario diventava commesso in un piccolo negozio in cui doveva fare di tutto: servire gli avventori, badare ai conti, spolverare e scopare il locale. Il suo lavoro cominciava alle sei del mattino e finiva alle dieci di sera. Siccome però aveva una grande passione per la matematica, si alzava alle tre e studiava fino all'ora di aprir bottega.
Ben presto ne seppe tanto da ottenere la patente di agrimensore e si mise, per venti scudi al mese, come assistente al servizio di un ingegnere incaricato di rilevare le mappe della Ulster County. Questi lo mandò in campagna a eseguire certe misure e a tracciare dei disegni, dicendogli di prendere a credito lungo la strada ciò che gli abbisognava: egli lo avrebbe seguito a pochi giorni di distanza e si sarebbe incaricato di pagare.
Jay Gould partì, ma il terzo giorno essendosi presentato in una osteria, non trovò credito nè per il pranzo nè per l'alloggio: gli fu detto che il suo padrone aveva fallito tre volte ed era pieno di debiti per tutto il paese.
Gould, che non aveva un centesimo, continuò la strada molto mortificato: a un certo punto si buttò sull'erba e si mise a piangere dirottamente; ma ben presto si vergognò e decise d'andare avanti.
Poco distante trovò una fattoria dove una buona donna gli offrì del pane e del latte: stava per partire ringraziando, quando la contadina gli domandò se sapeva disegnare una meridiana. Il giovane rispose di sì e fece immediatamente quanto gli veniva richiesto. Col dollaro che gli diede la massaia per tale lavoro, pagò il pane e il latte; poi proseguì contento il suo cammino: aveva trovato un'industria lucrosa.
Così continuò tutta l'estate a girare per la contea, rilevando le sue mappe e pagando le sue spese col disegnar meridiane sulle case di campagna. Verso la fine del giro, l'ingegnere fallì per la quarta volta e Gould perdette tutto il suo stipendio, sul quale non aveva mai ricevuto un soldo di acconto: ma da tale fallimento cominciò la sua fortuna.
Due ricchi ingegneri furono incaricati di continuare il lavoro delle mappe, e, conoscendo la capacità di Gould, gliene affidarono la cura, accordandogli una parte d'interesse nell'operazione. Gould, poi, assunse simili lavori per altre contee, e in breve tempo mise da parte cinque mila dollari.
Con questa somma si associò con un conciatore di pelli, e i suoi affari prosperarono in modo che quando sopraggiunse la crisi economica del 1857 egli ebbe credito abbastanza per comperare tutte le azioni della piccola ferrovia Rutland-Washington, cadute al dieci per cento, senza sborsare un soldo.
Sotto la sua abile amministrazione la ferrovia prese un nuovo sviluppo; egli la estese fino a metterla in comunicazione con la linea Rensslaer-Saratoga, ed avendone così aumentato enormemente l'importanza ed il valore, rivendette al 120 per cento le azioni comperate al dieci: e realizzò una somma vistosissima.