Rohkeissa ja syvälle koskevissa kirkkolaeissa panikin Gregorius aatteensa voimaan. Celibaatti-lailla velvoitti hän papit elämään naimattomina; siten he irtautuivat monesta maallisen elämän velvollisuudesta ja saattoivat, kun heillä ei ollut huolenpitoa perheestä, käyttää koko vaikutusvoimansa kirkon hyväksi. Tätä lakia ei kuitenkaan voitu panna toimeen ilman kiivasta vastustusta, kun näet jo ennestään naineita pappeja pakotettiin pannan uhalla heti luopumaan vaimoistansa. Toisessa laissa kielsi Gregorius jyrkimmästi kaiken simonian, määräten ankaraa kirkollista rangaistusta jokaiselle, ken möi tai osti hengellisiä virkoja. Kolmannessa laissa määrättiin, miten investituura eli hengellisten virkamiesten asettaminen oli tapahtuva. Tähän asti oli maallinen lääniherra tavallisesti asettanut piispat, antaen virkaan astujalle sormuksen ja sauvan, joista sormuksen piti merkitsemän piispan kihlausta kirkon kanssa ja sauvan hänen paimentointansa. Nyt Gregorius viran menettämisen uhalla kielsi hengellisiä ottamasta investituuraa vastaan kenenkään maallikon kädestä. Tämä laki tietysti kiihotti maallisen vallan taisteluun.
Saksan keisarinistuimella istui silloin Henrik IV, jonka ajattelemattomuus ja kopeus ennustivat turmiota. Kun hän ankarasti ja mielivaltaisesti kohteli saksilaisia, tekivät he viimein kapinan ja piirittivät Harzburg-linnan, jossa hän oleskeli. Töin tuskin onnistui hänen pimeänä yönä paeta rotkojen kautta polkuteitä myöten Hessiin. Siellä hän sai kannatusta monelta vasalliltaan, jotka ennen olivat hänelle vastahakoiset. Hän marssi heidän kanssansa kapinoitsijain maahan sekä voitti perin pohjin saksilaiset ja tyringiläiset. Maa hävitettiin kokonaan ja asujamilta riistettiin kaikki oikeudet. Hädässään kääntyivät saksilaiset paavin puoleen.
Gregorius oli aluksi kehoittanut Henrikkiä päästämään vapaaksi saksilaiset piispat, joita hän oli vanginnut, sekä antamaan takaisin heidän kirkkonsa ja tiluksensa. Investituura kuitenkin oli tärkein riidanaihe. Viimein lähetti paavi Henrikille käskykirjeensä hengellisten asettamisesta, ilmoittaen tahtonsa ja uhaten pannalla jokaista, ken ei sitä totellut. Kun Henrik ei tuosta ollut millänsäkään, kutsui paavi häntä Roomaan puolustamaan itseänsä. Mutta Henrik piti kirkolliskokouksen Wormsissa ja siellä Gregorius, syytettynä keksityistä rikoksista, tuomittiin menettämään virkansa. Se tuomio ynnä häväistyskirje lähetettiin Gregoriukselle, joka juuri silloin piti kirkolliskokousta Roomassa.
Paavi ryhtyi nyt rohkeaan ja paljon vaikuttavaan toimeen. Hän julisti (1076) Pietarin seuraajana pannaan keisarin, joka siten suljettiin kristikunnan yhteydestä ja julistettiin kelvottomaksi hallitsemaan vasallejansa. Kaikkiin tämä pannaan julistus vaikutti syvästi. Saksilaiset nousivat uudestaan kapinaan ja saivat kannatusta monelta taholta. Ruhtinaat ilmoittivat valitsevansa valtakunnalle toisen päämiehen, ell'ei Henrik ollut vuoden kuluessa pannasta päästettynä.
Henrik päätti silloin itse lähteä Italiaan ja siellä nöyrtyä paavin edessä. Hänen vihollisruhtinaansa sulkivat Italian puoliset Alppein solat, niin että hänen täytyi puolisonsa, pienen poikansa ja muutamain uskollisten palvelijain kanssa tehdä pitkä kierros Burgundin kautta Mont Cenisin yli Italiaan. Niissä jylhissä, tiettömissä vuoristoissa oli matka sangen vaivaloinen. Oli keskitalvi ja kova pakkanen; kylmä tuuli kulutti nahan pois kasvoista. Kalliot olivat suunnattoman lumenpaljouden peitossa, joka usein oli kylmänyt yhtä kovaksi kuin jää, niin että oppaat ainoastaan suurimmalla vaivalla pääsivät vuoriston harjalle. Vielä vaarallisempi oli laskeutuminen. Miehet kulkivat ryömimällä lakkaamattomassa kuiluihin putoamisen vaarassa; kuningatarta ja hänen palvelijoitansa laskettiin nahkoihin käärittyinä alas nuorilla; hevosia hinattiin jalat sidottuina yhteen, mutta enimmät niistä kuolivat. Viimein päästiin kuitenkin alas tasangolle.
Henrikin tulon sanoma levisi nopeasti. Lombardian ylimykset ja piispat, ollen Gregoriuksen vihollisia, tarjosivat keisarille apuansa; mutta hän vastasi arkamaisesti, että nyt ei ollut puhetta taistelusta, vaan katumuksen ja parannuksen teosta. Paavi oli juuri aikonut lähteä Augsburgiin kokoutuville valtiopäiville, vaan pakeni nyt lujaan Kanossa-linnaan, joka oli hänen uskollisen ystävänsä, Toskanan rajakreivittären Matildan hallussa, ja jäi sinne odottamaan keisarin tuloa.
Henrik saapuikin, mutta katumuspuvussa ja mieleltäänkin katuvaisena. Matildan välityksellä, jota oli pyytänyt, pääsi hän ulompaan linnanpihaan ja sai katumuspuvussa seisoa siellä kolme päivää paljain jaloin lumessa, nauttimatta mitään ravintoa. "Hän seisoi", kirjoitti Gregorius itse eräässä kirjeessään, "kolme kokonaista päivää linnanportin ulkopuolella eikä lakannut ennen rukoilemasta apostolista armahdusta, apua ja lohdutusta, kuin liikutti kaikkia läsnäolijoita sellaiseen sääliin, että he kyynelsilmin rukoilivat hänen puolestansa ja lausuivat kummastelevansa sydämmemme tavatonta kovuutta. Muutamat myöskin huusivat, että meidän käytöksemme osoitti pikemmin tyrannin julmuutta kuin apostolista ankaruutta."
Neljäntenä päivänä pääsi nöyryytetty katumuksen tekijä paavin puheille. Hänet silloin päästettiin pannasta, kuitenkin niillä ehdoilla, että hänen täytyi palata Saksaan ja olla ryhtymättä valtansa käyttämiseen, kunnes valtiopäivillä ratkaistiin, saiko hän enää pysyä hallituksessa vai eikö. Hän läksi näöltään kyllä nöyränä, mutta mieli täynnä kiukkua ja kostonhimoa.
Henrik kokosi kohta ympärilleen entiset ystävänsä ja puoluelaisensa eikä luvannut paaville suojelusta, jonka tähden Gregorius ei voinut tulla Augsburgin valtiopäiville. Ruhtinaat silloin valitsivat Rudolf Shwabilaisen kuninkaaksi, mutta hän kaatui taistelussa ja Henrik antoi hänen herttuakuntansa ystävälleen ja uskolliselle vasallilleen Fredrikille, Hohenstaufi-suvun kantaisälle. Joukko Saksan piispoja julisti Mainzin kokouksessa paavin erotetuksi virastaan. Gregorius uudisti pannan julistuksen. Fredrik Hohenstaufi jäi nyt taistelemaan kapinoitsevia saksilaisia vastaan, vaan Henrik itse läksi Italiaan ja piiritti siellä Roomaa toista vuotta; paavi sulkeutui San Angelo-linnaan. Viimein paavin vasalli Robert Guiskard läksi normannilaisjoukon kanssa lääniherrallensa avuksi. Henrikin täytyi peräytyä ja Gregorius vietiin turvaan Salernoon, jossa hän kuoli seuraavana vuonna (1085). Hänen viimeiset sanansa, "minä olen rakastanut oikeutta ja vihannut vääryyttä; sentähden kuolen maanpaossa", osoittavat, miten lujasti hän uskoi asiansa oikeuteen. Tosin hän siinä erehtyi, että uskoi voivansa maallisella vallalla pitää yllä totuuden hengellistä valtakuntaa; mutta koko hänen aikakautensa eli samassa erhetyksessä.