Das Ergebnis ist richtig.
Es gibt nur zwischendrin ein paar Probleme mit den Variablen. Auch das Symbol der Funktionaldeterminante ist - gelinde ausgedrückt - etwas seltsam:
Zunächst ist es ok, \(r\) statt \(\rho\) zu nehmen (mach ich auch lieber).
\(y= r\sin \color{blue}{\varphi}\)
Die Koordinatentransformation ist
\(\color{blue}{\Psi}\)\((r,\varphi) =\binom{x(r,\varphi)}{y(r,\varphi)}\)
Es gibt verschiedene Symbole für die Funktionaldeterminante. Eines meiner Favoriten ist
\(\frac{\partial(x,y)}{\partial(r,\varphi)} = \det\begin{pmatrix} \cos \varphi & -r\sin \varphi \\ \sin \varphi & r \cos \varphi \end{pmatrix}\)
Beim Berechen der Funktionaldeterminante hast du einen Vorzeichenfehler, der aber glücklicherweise aufgrund des Betrages keinen Fehler verursacht:
\(\det\begin{pmatrix} \cos \varphi & -r\sin \varphi \\ \sin \varphi & r \cos \varphi \end{pmatrix} = r\cos^2\varphi + r\sin^2\varphi = r\)
Die Integraltransformation würde dann so aussehen:
$$\int_{\mathcal B} x^2+y^2 d(x,y) = \int_{\Psi (\mathcal B^{\star})} x^2(r,\varphi)+y^2((r,\varphi)) \left|\frac{\partial(x,y)}{\partial(r,\varphi)}\right|d(r,\varphi)$$$$ = \int_{\mathcal B^{\star}} r^3d(r,\varphi) = \ldots \text{ weiter mit deinem Doppelintegral }$$