Dein Ergebnis 1/24 ist richtig.
Für die andere Reihenfolge hast Du falsch angesetzt. Zunächst ist das Intgral - egal wie man es berechnet - eine Zahl. Das Ergebnis darf also von keiner Variable abhängen.
Für die Umformung musst Du den Integrationsbereich als Normalbereich darstellen. Da hilft oft eine Skizze. Jedenfalls ist die Vorgabe des Integrationsbereichs:
$$\text{Menge aller } (x,y): \quad0 \leq x\leq 1\text{ und } x^2 \leq y\leq x$$
Daraus folgt dann die Berechnung des Integrals in der Form
$$\int_0^1 \left(\int_{x^2}^x xy\;dy\right)\;dx$$
Den Integrationsbereich kann man äquivalent auch so als Normalbereich darstellen
$$\text{Menge aller } (x,y): \quad0 \leq y\leq 1\text{ und } y \leq x\leq \sqrt{y}$$
Daraus folgt dann die Berechnung des Integrals in der Form
$$\int_0^1 \left(\int_{y}^{\sqrt{y}} xy\;dx\right)\;dy$$