Das "klassische" Anwendungsgebiet für iterative Methoden sind die Gleichungssysteme mit großen "schwach besetzten Matrizen". Das sind Matrizen, in denen in jeder Zeile nur wenige Komponenten von Null verschieden sind. Solche Matrizen treten bei der numerischen Lösung von partiellen Differentialgleichungen auf, oder bei der Methode der "Finiten Elemente" in den Ingenieurwissenschaften. Dann sind iterative Methoden oft rechengünstiger, weil man die Kenntnis der Nullen ausnutzen kann.
Ein zweiter Punkt ist die Frage der Kondition. Lösungsverfahren auf der Basis der Gauß-Elimination hängen von der Kondition des Gleichungssystems ab. Iterative Verfahren in der Regel nicht.
Allerdings ist das nur eine grobe Richtlinie. Denn natürlich gibt es auch spezielle Techniken, die die jeweiligen Probleme umgehen. Also etwa spezielle Gauß-Eleminationsverfahren, die auch die Kenntnis von Nullen ausnutzen .....
