Dann leite doch mal sin(nx) ab. Vielleicht wird es dann klarer?
∫ COS(n·x) · x^2 = SIN(n·x)/n · x^2 - ∫ SIN(n·x)/n · 2·x
∫ SIN(n·x)/n · 2·x = - COS(n·x)/n^2 · 2·x - ∫ - COS(n·x)/n^2 · 2
∫ SIN(n·x)/n · 2·x = - COS(n·x)/n^2 · 2·x + ∫ 2·COS(n·x)/n^2
∫ SIN(n·x)/n · 2·x = - COS(n·x)/n^2 · 2·x + 2·SIN(n·x)/n^3
∫ COS(n·x)·x^2 = SIN(n·x)/n·x^2 - (- COS(n·x)/n^2·2·x + 2·SIN(n·x)/n^3)
∫ COS(n·x)·x^2 = SIN(n·x)/n·x^2 + COS(n·x)/n^2·2·x - 2·SIN(n·x)/n^3
Damit haben wir also unsere Stammfunktion. Der rest ist nur noch einsetzen. Das schaffst du selber oder?