Aloha :)
Allgemein gilt bei paremeterabhängigen Integralen, dass man "unter dem Integral" partiell nach dem Parameter differenzieren darf, wenn der Integrand stetig partiell differenzierbar nach dem Parameter ist. Diesen Satz habt ihr (bei dieser Aufgabenstellung hier) sicherlich in der Vorlesung gehabt. Mit diesem Wissen gerüstet betrachten wir das folgende parameterabhängige Integral
$$F(y):=\int\limits_0^a\cos(xy)dx$$und differenzieren es partiell nach \(y\):
$$F'(y)=\int\limits_0^a\frac{\partial}{\partial y}\cos(xy)dx=-\int\limits_0^ax\sin(xy)dx$$$$F''(y)=-\int\limits_0^a\frac{\partial}{\partial y}\left[x\sin(xy)\right]dx=-\int\limits_0^ax^2\cos(xy)dx$$
Das gesuchte Integral ist offensichtlich gleich \(-F''(1)\):$$\int\limits_0^ax^2\cos x\,dx=-F''(1)$$Das Integral \(F(y)\) und seine Ableitungen können wir aber auch direkt berechnen:$$F(y)=\left[\frac{\sin(xy)}{y}\right]_{x=0}^a=\frac{\sin(ay)}{y}$$$$F'(y)=\frac{a\cos(ay)y-\sin(ay)}{y^2}=-\frac{\sin(ay)}{y^2}+\frac{a\cos(ay)}{y}$$$$F''(y)=-\frac{a\cos(ay)y^2-2\sin(ay)y}{y^4}+\frac{-a^2\sin(ay)y-a\cos(ay)}{y^2}$$$$\phantom{F''(y)}=\frac{2\sin(ay)}{y^3}-\frac{2a\cos(ay)}{y^2}-\frac{a^2\sin(ay)}{y}$$also erhalten wir schließlich:$$\int\limits_0^ax^2\cos x\,dx=-F''(1)=(a^2-2)\sin(a)+2a\cos(a)$$