Kaiserin Agnes, Regentin für den noch unmündigen Heinrich, übertrug Rudolf, der der Reform über seine Beziehungen in Burgund nahestand, 1057 das Herzogum Schwaben. Beide unterstützten das Kloster St. Blasien in diesem Sinn. Zugleich wurde Rudolf die Verwaltung Burgunds zugeschrieben. Mit der Mündigkeit Heinrichs verlagerte dieser seine Anstrengungen nach Sachsen, um die Politik seines Vaters fortzusetzen und den oppositionellen Machtbestrebungen des sächsischen Adels entgegenzutreten. Rudolf, anfangs loyal gegenüber Heinrich, distanzierte sich im Lauf der 1070er Jahre zusammen mit anderen süddeutschen Fürsten, die die Position des Papstes vertraten. Im Februar 1076 sprach Papst Gregor VII. den Bann über Heinrich aus. Ende Januar 1077 nahm Gregor, der sich eine militärische Auseinandersetzung fürchtend nach Canossa begeben hatte, Heinrich wieder in die Kirche auf. Trotzdem wurde Rudolf am 15. März 1077 im bayerischen Forchheim zum Gegenkönig gewählt. Als Unterstützer traten u.a. Welf IV., Herzog von Bayern und Berthold von Zähringen als Herzog von Kärnten auf. Der Konflikt schwelte weiter und in der Folgezeit kam es zu verheerenden kriegerischen Auseinandersetzungen, die auch nach Rudolfs Tod im Oktober 1080 in der Schlacht bei Hohenmölsen nicht endeten. Noch im März 1080 war Rudolf von Gregor VII. zum rechtmäßigen König ernannt worden. Erst gegen Ende des Jahrhunderts gelang eine Einigung der verfeindeten Parteien, wovon die Staufer und Zähringer bedeutend profitierten.

Rudolf wurde im Merseburger Dom beigesetzt. Die außergewöhnliche Grabplatte, die im Auftrag des Merseburger Bischofs entstanden sein könnte, zeigt Rudolf in voller Größe mitsamt der königlichen Insignien wie Krone, Reichsapfel und Zepter. Sie entstand, als der Brozeguss im nördlichen Europa noch eine Seltenheit war. Die Inschrift vergleicht Rudolf mit Karl dem Großen und würdigt seine Verdienste um die Kirche. Selbst Heinrich soll beeindruckt gewesen sein und dem Kontrahenten im Tode die gebührende Ehre erwiesen haben.