Aloha :)
Du kannst das Doppelintegral nicht in ein Produkt von Integralen aufspalten. Dazu müsstest du den Integranden in ein Produkt der Form \(f(x)\cdot g(y)\) zerlegen können. Hier musst du einfach zuerst nach der einen Variablen und dann nach der anderen Variablen integrieren. Die Reihenfolge kannst du dir aussuchen:
$$I=\int\limits_{x=a}^b\;\;\int\limits_{y=a}^bxy(x^2-y^2)\,dx\,dy=\int\limits_{x=a}^b\left(\;\;\int\limits_{y=a}^b(x^3y-xy^3)\,dy\right)dx$$$$\phantom I=\int\limits_{x=a}^b\left[x^3\,\frac{y^2}{2}-x\,\frac{y^4}{4}\right]_{y=a}^bdx=\int\limits_{x=a}^b\left[\left(x^3\,\frac{b^2}{2}-x\,\frac{b^4}{4}\right)-\left(x^3\,\frac{a^2}{2}-x\,\frac{a^4}{4}\right)\right]_{y=a}^bdx$$$$\phantom I=\int\limits_{x=a}^b\left(x^3\,\frac{b^2-a^2}{2}-x\,\frac{b^4-a^4}{4}\right)dx=\left[\frac{x^4}{4}\,\frac{b^2-a^2}{2}-\frac{x^2}{2}\,\frac{b^4-a^4}{4}\right]_{x=a}^b$$$$\phantom I=\left(\frac{b^4}{4}\,\frac{b^2-a^2}{2}-\frac{b^2}{2}\,\frac{b^4-a^4}{4}\right)-\left(\frac{a^4}{4}\,\frac{b^2-a^2}{2}-\frac{a^2}{2}\,\frac{b^4-a^4}{4}\right)$$$$\phantom I=\frac{b^4-a^4}{4}\,\frac{b^2-a^2}{2}-\frac{b^2-a^2}{2}\,\frac{b^4-a^4}{4}=0$$