Ad onta dell'influsso della musica greca, la musica dei Cristiani non può però essere stata nei primi secoli che semplicissima e disadorna, giacchè la teoria musicale greca era troppo astrusa e complicata, per poter credere che venisse studiata ed applicata alla loro musica dai primi Cristiani, per la maggior parte appartenenti alle classi incolte e basse. Dalle notizie che ci danno gli autori di quel tempo, specialmente Filone, scrittore ebreo del primo secolo dell'èra cristiana, i canti cristiani sembrano aver avuto somiglianza con quelli dei cori delle tragedie greche, cantati a vicenda da doppi cori che poi si univano; un uso che ebbe il suo motivo probabilmente nella divisione dei Salmi in versetti. Le melodie dei Salmi saranno poi state le originarie ebree, giacchè non è probabile, che anche queste fossero andate perdute coll'andar dei secoli.
Posteriori ai canti antifonici dei Salmi sono gli Inni, quantunque anche molti di questi appartengono ai primi tempi. Il primo poeta di Inni cristiani, dei quali ci è conservata memoria, è Ilario, vescovo di Poitiers (350 d. C.). L'opinione anteriore che la musica degli inni fosse semplicemente sillabica fu dimostrata erronea ed è ormai certo che gli inni e salmi si cantavano con vere e proprie melodie e non alla maniera di recitazione cadenzata.
Fra coloro che si occuparono della musica cristiana, vengono nominati S. Clemente d'Alessandria (200 d. C.), che proibì il genere cromatico ed armonico perchè snervante ed effeminato, S. Basilio, che riordinò il canto della Chiesa orientale (370), Ilario e papa Silvestro (300), che sembra essere stato il primo ad istituire scuole di canto.
Col progredire del tempo e dopo la riforma del culto il canto della comunità non era più compatibile sia perchè questa non conosceva diversi cantici, sia per la difficoltà della loro esecuzione, tanto più che la lingua latina andava spegnendosi e trasformandosi. Però già nel concilio di Laodicea (367) viene decretato, che in Chiesa nessuno deve cantare ad eccezione dei cantori dalla loro tribuna. A questi era affidata la cura di conservare le antiche tradizioni, ed a questi sono probabilmente d'ascriversi le melodie dei nuovi inni cristiani.
Il primo, che ordinò il canto della nuova Chiesa e ne stabilì una teoria per quanto embrionale, fu Ambrogio, vescovo di Milano (333-397). Ai suoi tempi ferveva più accanita che mai la lotta cogli Ariani e la diocesi di Milano era minacciata dalle persecuzioni ordinate dalla madre dell'imperatore Valentiniano, che era favorevole agli Ariani e che voleva togliere Ambrogio alla sua diocesi. In quei giorni di desolazione e sommosse egli si rifuggì colla comunità in Chiesa, dove passò più giorni e notti in preghiere. Per rialzare gli animi abbattuti ed il fervore dei fedeli, egli fece cantare inni alla maniera orientale di antifona, avvicendando i cori. Da quell'epoca sembra che il canto cristiano abbia subìto una trasformazione e sia venuto diffondendosi nelle diocesi limitrofe, eliminando le antiche melodie pagane ed informando anche la musica mondana.
Sulla vera natura del canto ambrosiano mancano però notizie esatte e non si può stabilire, quanto degna di fede sia l'asserzione, che esso non fosse stato esclusivamente diatonico, ma cromatico. Questa supposizione sembra, del resto, in parte giustificata, se si pensa all'entusiasmo che destò in Sant'Agostino, il quale, commosso alle lagrime, domanda se non sia peccaminoso questo canto, che tanto lo scuote colle sue dolcissime note e gli fa quasi dimenticare il testo. A S. Ambrogio vengono attribuiti più inni, fra cui il Te Deum, quantunque sembri invece accertato, che esso sia d'origine orientale. A lui pure s'ascrive, senza però averne alcuna certezza, l'introduzione dei primi quattro toni autentici, che non son altro che quattro delle sette ottave diatoniche del sistema di Tolomeo e precisamente quelle, che più s'avvicinano al carattere ed alla melodia dei Salmi. Esse sono i toni di re-re, mi-mi, fa-fa, sol-sol, formati di due tetracordi uniti, e che corrispondono al tono greco-frigio, dorico, ipolidico, ed ipofrigio. Essi ebbero nomi proprii diversi dagli antichi, che ricordavano la musica pagana e si chiamarono protos, deuteros, tritus e tetrardus (primo, secondo, ecc.); tutti quattro poi furono chiamati a differenza di quelli posteriormente aggiunti autentici. Nel terzo tono (fa-fa) non c'è semitono nel primo tetracordo e dalla quarta eccedente nacque il famigerato tritonus (diabolus in musica), che fece rompere la testa ai teorici musicali del medio evo, i quali disputarono in lunghi trattati, se al si si possa sostituire il si bemolle.
Non è noto, se Ambrogio abbia conosciuta la notazione, quantunque ciò non sia improbabile, tanto più, che un diacono di Edessa, Efraen, sembra essersi servito già anteriormente di segni per la notazione. La supremazia del canto ambrosiano nella Chiesa occidentale durò per alcuni secoli, quantunque si creda che il canto della chiesa Romana abbia sempre differito in più punti dall'ambrosiano e si sia ognor più esteso, contenendo in sè il vero elemento, dal quale doveva sorgere la nostra musica come arte indipendente dalla parola. Ma anche qui nulla vi è di certo.
I secoli posteriori a quelli di S. Ambrogio videro nella penisola italica più volte sanguinose guerre ed invasioni barbare. L'antica metropoli dell'impero romano, la città eterna, offriva allora un ben triste aspetto. Spopolata e in parte deserta, dilaniata da discordie cittadine, le sue vie risuonavano di salmodie di penitenti, che col capo coperto di cenere si battevano il petto e si recavano in processione alle nuove numerose chiese ad implorare misericordia da Dio per le colpe dell'umanità, fine alle pesti, che spopolavano le città, alle stragi, che insanguinavano le vie. Agli antichi monumenti, testimoni dell'antica grandezza, in gran parte rovinati dal tempo, e più dalla mano devastatrice dell'uomo, si avevano sostituiti tetri monasteri, che risuonavano di lugubri canti.
Fu in questo tempo di miserie e decadenza, che salì sul trono di S. Pietro Gregorio magno (590-604), grande carattere medioevale, una di quelle figure, che danno luce ad una intiera epoca. Il profondo sentimento religioso di cui egli era dotato, la sua estesa coltura e la conoscenza della musica non potevano fare a meno di attirare la sua attenzione su questa arte, che specialmente in quei tempi doveva considerarsi come la più grande ausiliaria della religione, di cui essa in origine era la figlia e l'ancella. Gregorio intuì la sua importanza e ad onta delle gravissime cure, che gl'imponeva il papato, vi rivolse la sua attenzione e ne meditò la riforma. Egli è il fondatore della Schola cantorum romana, che per più secoli fu la fedele conservatrice delle antiche e più pure tradizioni e la fornì di un lauto patrimonio, concedendo ai membri della stessa cariche ecclesiastiche (primicerius, secundicerius). Alla schola era unita la scuola dei fanciulli (pueri symphoniaci), alla istruzione dei quali Gregorio stesso alle volte prendeva parte, e dicesi che fino al secolo nono esistessero un sedile, che occupava Gregorio nella scuola, e la verga colla quale egli batteva i fanciulli disattenti.
Come egli aveva ordinato il culto e la liturgia, così egli stabilì i canti e gli inni, che si dovevano cantare nelle singole funzioni sacre, e ne scelse e determinò le melodie. Il testo e le melodie furono per suo ordine scritte in un libro, l'Antifonario, che era attaccato con una catena all'altare di S. Pietro e che fu dichiarato l'unica fonte autentica ed invariabile. Si dice che egli stesso abbia scritto inni, ed a lui si attribuiscono fra gli altri il Te lucis ante terminum ed il Rex Christe.