So etwas kann man eigentlich nur wissen, wenn man einen großen Erfahrungswert im Umgang mit Integralen hat.
Aber dir sollte schon bewusst sein, dass man die Form der Integrale eigentlich immer mit den trigonometrischen Funktionen über Substitution angeht.
Ich überlege mir meist was für Möglichkeiten ich habe und was für ähnliche Funktionen ich kenne, die ich schon mal behandelt habe.
Am Ende kann man es auch einfach probieren und wenn das nicht klappt die nächste Möglichkeit nehmen. man kann auch mehrfach substituieren.
so hätte ich im ersten schritt auch mit r*u substituieren können
∫ 1/(r2 + x2)3/2 dx
Substitution x = r*u und dx = du
∫ 1/(r2 + r^{2}*x^2)3/2 dx
1/r^3 * ∫ 1/(1 + u^2)3/2 du
Jetzt muss man sehen das man 1 + u^2 irgendwie zusammenbringt. weil sin^2 + cos^2 = 1 oder sin^2 = 1 - cos^2 kann ich hier schlecht nur durch sin oder cos substituieren. also bleibt hier die substitution über den tangens. Letztendlich kann man es aber auch gleich wie ich in einer substitution machen.