Aloha :)
Sehr hilfreiche Identitäten sind die beiden Folgenden:$$\sin^2(x)=\frac12-\frac12\cos(2x)\quad;\quad\cos^2(x)=\frac12+\frac12\cos(2x)$$
Damit wird das gesuchte Integral ein Einzeiler:$$\int\cos^2(5x)\,dx=\int\left(\frac12+\frac12\cos(10x)\right)\,dx=\frac x2+\frac{1}{20}\sin(10x)+\text{const}$$
Ganz ohne trigonometrische Identitäten wirst du wohl nicht auskommen. Du könntest deinen Ansatz mit dem trigonometrischen Pythagoras \((\sin^2\alpha+\cos^2\alpha=1)\) beenden.