El principal desafío de Gregorio VII provino del emperador Enrique IV de Alemania,. Enrique, un joven de veintitrés años, era descrito como disoluto, codicioso y tiránico. Inicialmente, en septiembre de 1073, Enrique había escrito al Papa con humildad, reconociendo su mala conducta y prometiendo enmienda. Sin embargo, no mantuvo estos sentimientos por mucho tiempo.
El conflicto se intensificó cuando Enrique continuó nombrando obispos en Alemania e Italia, ignorando las prohibiciones papales. A finales de diciembre de 1075, Gregorio envió un ultimátum a Enrique, exigiéndole que observara los decretos papales, bajo pena de excomunión y privación de su reino.
La Dieta de Worms y la excomunión
En respuesta, Enrique IV convocó la Dieta de Worms en enero de 1076, donde veintiséis obispos, bajo calumnias atroces, declararon depuesto a Gregorio VII, alegando que su elección había sido irregular. Enrique envió una carta al Papa, dirigiéndose a él como «Hildebrando, ya no Papa sino un falso monje», y ordenándole: «¡Desciende! ¡Desciende, tú, siempre maldito!». Los obispos de Lombardía, incluyendo a Guibert de Ravena, se unieron a esta denuncia,.
Al día siguiente, Gregorio VII excomulgó solemnemente a Enrique IV, liberando a sus súbditos de su juramento de lealtad,. Este fue un momento de profunda significación en la historia del papado, ya que la excomunión de un emperador por el Papa era un acto sin precedentes y un claro símbolo de la lucha entre la Iglesia y el Estado,.
Canossa y sus consecuencias
La excomunión de Enrique IV fue una oportunidad para los nobles alemanes que deseaban deshacerse de su rey. En octubre de 1076, acordaron que Enrique perdería su corona si no obtenía la absolución papal en el plazo de un año y no se presentaba a un concilio presidido por Gregorio en Augsburgo en febrero siguiente.
Para salvarse, Enrique resolvió hacer una muestra de sumisión. Cruzó los Alpes en el invierno de 1077 y se encontró con el Papa en el castillo de Canossa, entre Módena y Parma. Durante tres días, Enrique, vestido de penitente, esperó a las puertas del castillo. Aunque la espera fue a veces interpretada como una crueldad por parte de Gregorio, el Papa finalmente lo admitió, Enrique se acusó a sí mismo y fue absuelto. El incidente de «ir a Canossa» se convirtió en un símbolo del triunfo de la Iglesia sobre el Estado.
Sin embargo, la sumisión de Enrique fue más una astucia política que una conversión sincera. No hay evidencia de que renunciara seriamente a su pretensión de conferir investiduras. A pesar de la reinstauración de Enrique, algunos nobles alemanes eligieron a su cuñado, Rodolfo de Suabia, como nuevo emperador en 1077. Aunque Gregorio intentó mantenerse neutral, se vio obligado a renovar la excomunión de Enrique y declarar su apoyo a Rodolfo, quien murió en batalla.
Enrique, por su parte, promovió la elección de Guibert, arzobispo de Ravena, como antipapa (Clemente III),. Tras la muerte de Rodolfo, Enrique marchó con su ejército a Italia y asedió Roma durante dos años, logrando finalmente tomarla.