I toni si designavano coi numeri primo, secondo, ecc. Ogni tono autentico aveva la nota principale (repercussio) comune col tono plagale (p. es. nel 1º (autentico) e 2º (plagale) il re). Da questo tendere del tono plagale alla quarta deriva una sensazione indefinita ed incerta, che tanto più si sente, quando, come di solito nelle melodie del canto fermo, manca nei toni plagali la terza maggiore ascendente.
Il canto gregoriano è indissolubile dalle tonalità di chiesa, perchè agli otto toni corrispondono le melodie da cantarsi in toni destinati (tropi). Così corrispondono alle otto tonalità i cosidetti otto toni dei Salmi, dei quali le note melodicamente più importanti cadono sulle note principali del rispettivo tono gregoriano. Il posteriore nono modo dei Salmi, il tonus peregrinus (la minore), è formato dal primo e ottavo tono e si usa solamente per il salmo:
In exitu Israel de Aegypto.
La diversa posizione dei semitoni nelle tonalità le rende una diversa dall'altra molto più che i nostri toni, che sono costituiti secondo uno stesso principio. Gerbert riporta da Adamo da Fulda, autore del secolo XV, questa caratteristica dei toni:
OMNIBUS EST PRIMUS, SED ET ALTER, TRISTIBUS APTUS TERTIUS IRATUS, QUARTUS DICITUR FIERI BLANDUS, QUINTUM DA LAETIS, SEXTUM PIETATE PROBATIS, SEPTIMUS EST IUVENUM, SED POSTREMUS SAPIENTUM.
La conoscenza e la pratica delle tonalità di chiesa è assolutamente necessaria per chi si occupa di musica antica ed è da deplorarsi che se ne trascuri tanto lo studio, giacchè anche la musica moderna sì avida di novità ne potrebbe trarre profitto. Le tonalità suddette portavano anche i nomi antichi greci ma senza l'antico significato e valore, ciò che è da ascriversi alla falsa interpretazione data da Boezio ed altri autori ad un passo di Tolomeo. A Gregorio magno si attribuisce, a torto perchè posteriore (Notker, 912), la denominazione delle note colle prime lettere dell'alfabeto a b c d e f g cominciando dal la, che era la nota più bassa del sistema. Questo cambiamento è assai importante, giacchè esso indica che l'ottava e non il tetracordo era la base del sistema musicale, e perchè con ciò veniva dato l'ultimo crollo alla teoria greca. La prima maniera di segnare o indicare le note fu la Cheironomia, che consisteva in segni, che il maestro faceva colle mani, onde indicare in qualche modo l'alzarsi od abbassarsi del tono ed il ritmo. A questi seguirono poi i segni scritti detti neumi, chiamati così, forse dalla parola greca pneuma: alito, fiato — e nominati anche nota romana — probabilmente di origine greco-bizantina, i quali formavano una specie di stenografia musicale, ed erano numerosi e complicati. La loro forma era il punto, la virgola, la linea o diritta o storta, uncini rivolti all'insù ed all'ingiù, accenti circonflessi, ecc. Il tono viene rappresentato col punto, che è quasi l'unità, e la sua durata più o meno lunga con una linea diritta o storta. Coll'unione di questi segni si rappresentavano poi gruppi di note e certe frase e cadenze usuali. I neumi avevano tutti il loro proprio nome, come, p. es., virgula, astus, clinis, scandicus, ancus, cefalicus, ecc., a seconda della loro forma. Essi si scrivevano immediatamente sopra la sillaba del testo senza linea. In seguito poi si cominciò, come ne fanno prova dei manoscritti longobardi del secolo X a scriverli più alti o bassi (la cosidetta Diastematia) con cui si indicava almeno l'alzarsi od abbassarsi del tono. Questa maniera di notazione, oltre offrire grandi difficoltà per apprendere i segni, non era che un aiuto alla memoria dei cantori, ai quali erano già note per tradizione le melodie, giacchè, se essi davano un indirizzo per il tempo ed il ritmo come pure per l'innalzamento od abbassamento del tono, non determinavano gl'intervalli.
La decifrazione dei neumi è oggi un'ardua impresa e lo era anche nei primi tempi perchè mancavano regole fisse e perchè la notazione di spesso variava. Un antico autore scrive parlando dei cantori: Coeci erratores quam cantores potius dici possunt. Un'altra specie di neumi propria di alcuni paesi, segnava le note con punti uno sopra l'altro o uniti o separati. L'introduzione di una linea, sopra e sotto della quale si scrivevano i neumi, fu perciò una innovazione importante ed utilissima, giacchè col mezzo di essa era possibile stabilire almeno tre toni, cioè quello sulla linea, quello sopra e quello sotto. La linea si faceva in principio del secolo X rossa e indicava il tono di fa. In seguito si aggiunse una nuova linea superiore, di solito gialla, indicante il do, come nel codice della Biblioteca Magliabecchiana, sicchè era possibile ormai stabilire le note della quinta fa-do. Qualche autore moderno asserisce che già da principio si abbia fatto uso di quattro linee, due delle quali non a colori ma impresse con una punta nella pergamena, linee che poi col tempo e l'uso dei libri divennero invisibili.
Altri neumi servivano a determinare la maniera d'esecuzione e da essi apprendiamo che ancora a quei tempi si conoscevano l'appoggiatura, il mordente, il tremolo ed il portamento della voce, dal che si può arguire con certezza, che coll'andar del tempo il canto gregoriano si venne abbellendo ed infiorando di molte arti del canto e si abbandonò l'originaria forma semplice e disadorna.
La diffusione del canto gregoriano fu favorita dalle circostanze dell'epoca ed andò quasi di pari passo con quella del Cristianesimo. A Roma accorrevano a torme i pellegrini per visitare la tomba di S. Pietro e non poteva essere che grande l'effetto, che facevano sugli animi dei popoli barbari, animati nella fede dalle nuove idee religiose, quei canti severi e maestosi, dolcissimi e pieni di una soave mestizia, che s'innalzavano nelle basiliche risplendenti di mosaici ed illuminate da mille ceri. Il canto gregoriano faceva altresì parte del culto e veniva importato ed insegnato dai missionari spediti dai Papi nei lontani paesi dell'antico impero romano. Già nel 600 vengono mandati cantanti della scuola di Roma nella lontana Britannia e S. Bonifacio, apostolo dei Sassoni, fonda nel 750 una scuola di canto in Fulda. Ma sia che i popoli del Settentrione non avessero attitudine all'imparare il canto gregoriano, sia che, come si asserì, i cantanti per gelosia non abbiano voluto insegnare la loro arte, i progressi furono meschinissimi e Paolo Diacono parlando del canto degli Alemanni dice, che i cantori romani si lamentavano della rozzezza di quelle voci barbare, rovinate dalla ubbriachezza, simili al tuono e al rumore che fa un carro, che vien precipitando da un'altura.
L'onore di aver migliorato il canto nelle regioni settentrionali ed averlo ridotto al modello romano spetta a Carlo Magno, che, come si rese benemerito delle scienze, rivolse pure la sua attenzione alla musica, che prediligeva e che volle fosse appresa dai suoi figli. L'impressione, che gli fece il canto gregoriano a Roma, fu tale, che egli diede severissimo ordine di bruciare tutti i libri di canto ambrosiano che erano nel suo regno, lo proibì assolutamente e pregò Papa Adriano di volergli spedire cantori per insegnare il canto gregoriano. Adriano mandò infatti nel 790 alla corte di Carlo Magno Pietro e Romano e diede loro copie autentiche dell'Antifonario di S. Gregorio. Pietro arrivò a Metz e vi fondò quella celebre scuola, che ebbe tanta fama per più secoli e da cui ebbe origine il cosidetto cantus mettensis. Romano ammalò durante il viaggio e si fermò nel convento di S. Gallo in Svizzera, dove, dopo aver ottenuto il permesso del Papa, si stabilì e rimase sino alla morte. In quel monastero, perduto nelle montagne dell'Elvezia, fra popoli barbari ed incolti, si sviluppò per la sua opera, continuata da una serie di uomini di scienza e genio una vita intellettuale sorprendente per quei tempi ed in breve il canto della scuola di S. Gallo raggiunse tanta rinomanza da gareggiare colla scuola romana. Fra i molti monaci illustri di quel convento emergono Tuotilo (915) poeta e musico insigne, ed ancor più Notker balbulus (balbuziente) (830-912) anima gentile ed ispirata, che sembra essere stato il primo a perfezionare la forma della sequenza ed al quale si ascrive fra molte anche la celebre: Media vita in morte sumus, ispiratagli al vedere alcuni lavoratori occupati a fabbricare un ponte su di un precipizio.