Aloha :)
Du kannst das natürlich direkt integrieren:
$$\int\frac{5}{x^2}\,dx=\int 5x^{-2}\,dx=\frac{5}{-1}x^{-1}+\text{const.}=-\frac{5}{x}+\text{const.}$$Oder auch durch deine Substitution. Dabei musst du darauf achten, im Differential die alte Variable druch die neue zu ersetzen.
$$z:=x^2\;\Rightarrow\;\frac{dz}{dx}=2x\;\Rightarrow\;dx=\frac{1}{2x}\,dz=\frac{1}{2\sqrt z}\,dz$$$$\int\frac{5}{x^2}\,dx=\int\frac{5}{z}\frac{1}{2\sqrt z}\,dz=\int\frac{5}{2}z^{-3/2}\,dz=\frac{5}{2}\cdot\frac{1}{-1/2}z^{-1/2}+\text{const.}$$$$=-5\frac{1}{\sqrt z}+\text{const.}=-5\frac{1}{\sqrt{x^2}}+\text{const.}=-\frac{5}{x}+\text{const.}$$
Integration durch Substitution lohnt sich immer dann besonders, wenn die Ableitung von der Substitutionsvariablen als Faktor auftaucht. Weil das alte Differential \(dx=\frac{dz}{z'(x)}\) ist, kürzt sich dann die Ableitung \(z'(x)\) raus. In deinem Beispiel hier, hat sich die Substitution nicht sonderlich gelohnt ;)