Wesentlich für den Kreuzzuggedanken war die Idee eines „heiligen Krieges“ gegen die „Ungläubigen“, der als gottgefällig angesehen wurde und die Vergebung der Sünden versprach.
1095 predigte Papst Urban II. auf dem Konzil von Clermont den Krieg gegen die Ungläubigen, d. h. die Muslime im östlichen Mittelmeerraum. Zuvor hatten gesandte des Kaisers von Byzanz die westliche Christenheit um Hilfe gebeten. So betonte Urban die Bedrängnis, in die die Christen im Osten geraten seien sowie die Nöte der Pilger, die die heiligen Stätten in Palästina besichtigen wollten. Einen solchen Krieg bezeichnete er als gottgefälliges Werk, das den Kämpfern die Vergebung der Sünden einbrächte. 1095 war die Idee eines heiligen Krieges gegen die „Ungläubigen“ nicht
neu, denn bereits einige Jahre zuvor hatten Geistliche zum Kampf gegen die Muslime in Spanien aufgerufen. Nun verband sich die Idee vom heiligen Krieg mit der Tradition der Pilgerfahrten, die ebenfalls eine Vergebung der Sünden versprachen. Dazu kam, daß der Papst den „Pilgern“, wie zeitgenössische Quellen die Kreuzfahrer nennen, das den „Ungläubigen“ entrissene Land zum Besitz gab, was
den nach eigenem Land hungernden jungen Adel ansprach. Außerdem mag es dem Papst um die Ableitung kriegerischer Energie aus dem westlichen In der Folge von Urbans Aufruf machten sich tausende Adelige, Arme und Geistliche auf den Weg nach Jerusalem, das sie nach einem furchtbaren Blutbad 1099 eroberten.
Kreuzzüge wurden in der Folge aus verschiedenen Gründen, die über die Befreiung der heiligen Stätten und die Bekämpfung nichtchristlicher Gegner hinausgeht, ausgerufen, z. B. zu Anfang des 13. Jahrhunderts gegen die ketzerischen Albigenser im südwestlichen Frankreich. Auch die Anfrage Herzog Konrads von Masowien an Hermann von Salza und den Deutschen Orden ähnelte dem Aufruf zu einem Kreuzzug, ging es doch um die Bekriegung heidnischer Völker, die man noch dazu zum christlichen Glauben zu bekehren gedachte. Für den Herzog war es deshalb möglich, den zum Zweck des Krieges gegen die „Ungläubigen“ gegründeten Deutschen Orden anzurufen.