Dann leite doch mal sin(nx) ab. Vielleicht wird es dann klarer?
∫ COS(n·x) · x2 = SIN(n·x)/n · x2 - ∫ SIN(n·x)/n · 2·x
∫ SIN(n·x)/n · 2·x = - COS(n·x)/n2 · 2·x - ∫ - COS(n·x)/n2 · 2
∫ SIN(n·x)/n · 2·x = - COS(n·x)/n2 · 2·x + ∫ 2·COS(n·x)/n2
∫ SIN(n·x)/n · 2·x = - COS(n·x)/n2 · 2·x + 2·SIN(n·x)/n3
∫ COS(n·x)·x2 = SIN(n·x)/n·x2 - (- COS(n·x)/n2·2·x + 2·SIN(n·x)/n3)
∫ COS(n·x)·x2 = SIN(n·x)/n·x2 + COS(n·x)/n2·2·x - 2·SIN(n·x)/n3
Damit haben wir also unsere Stammfunktion. Der rest ist nur noch einsetzen. Das schaffst du selber oder?