Aloha :)
Da die Divergenz des Vektorfeldes \(\vec F\) verschwindet, hat das Feld keine Quellen:$$\operatorname{div}\vec F=\begin{pmatrix}\partial_x\\\partial_y\\\partial_z\end{pmatrix}\begin{pmatrix}2xy\\-y^2\\x^2\end{pmatrix}=\partial_x(2xy)-\partial_y(y^2)+\partial_z(x^2)=2y-2y+0=0$$Daher kann nichts aus der Halbkugelschale hinaus oder in sie hinein fließten.
Das heißt, das Integral ist \(=0\).
Falls du das Integral aber tatsächlich auf direktem Wege berehnen sollst oder möchtest...
Zur Integration über die Halbkugelschale \(S_H\) mir Radius \(R\) brauchen wir einen Ortsvektor, der alle Punkte der Oberfläche abtastet. Diesen schreiben wir mit Kugelkoordinaten:$$\vec r_1=\begin{pmatrix}R\cos\varphi\sin\vartheta\\R\sin\varphi\sin\vartheta\\R\cos\vartheta\end{pmatrix}\quad;\quad\varphi\in[0;2\pi]\quad;\quad\vartheta\in\left[0;\frac\pi2\right]$$Der Radius \(R\) ist fest, weil wir ja nur die Kugel-Oberfläche abtasten wollen.
Wegen \(z\ge0\) ist insbesondere \(z=0\) möglich. Das heißt, die Kreisfläche am Boden der Halbkreises gehört mit zur Oberfläche. Zum Abtasten dieser Kreisfläche brauchen wir einen weiteren Ortsvektor, für den wir am besten Polarkoordinaten wählen:$$\vec r_2=\begin{pmatrix}r\cos\varphi\\r\sin\varphi\\0\end{pmatrix}\quad;\quad r\in[0;R]\quad;\quad\varphi\in[0;2\pi]$$
Wir kriegen es hier also mit 2 Obeflächenintegralen zu tun.
Das Flächenelement für den ersten Abtastvektor \(\vec r_1\) lautet:$$d\vec S_1=\pm\left(\frac{\partial\vec r_1}{\partial\varphi}\,d\varphi\right)\times\left(\frac{\partial\vec r_1}{\partial\vartheta}\,d\vartheta\right)=\pm\begin{pmatrix}-R\sin\varphi\sin\vartheta\\R\cos\varphi\sin\vartheta\\0\end{pmatrix}\times\begin{pmatrix}R\cos\varphi\cos\vartheta\\R\sin\varphi\cos\vartheta\\-R\sin\vartheta\end{pmatrix}d\varphi\;d\vartheta$$$$\phantom{d\vec S_1}=\pm\begin{pmatrix}-R^2\cos\varphi\sin^2\vartheta\\-R^2\sin\varphi\sin^2\vartheta\\-R^2\pink{\sin^2\varphi}\sin\vartheta\cos\vartheta-R^2\pink{\cos^2\varphi}\sin\vartheta\cos\vartheta\end{pmatrix}d\varphi\,d\vartheta$$$$\phantom{d\vec S_1}=\pm\begin{pmatrix}-R^2\cos\varphi\sin^2\vartheta\\-R^2\sin\varphi\sin^2\vartheta\\-R^2\sin\vartheta\cos\vartheta\end{pmatrix}d\varphi\,d\vartheta=\pm\begin{pmatrix}-R\cos\varphi\sin\vartheta\cdot R\sin\vartheta\\-R\sin\varphi\sin\vartheta\cdot R\sin\vartheta\\-R\cos\vartheta\cdot R\sin\vartheta\end{pmatrix}d\varphi\,d\vartheta$$$$\phantom{d\vec S_1}=\pm(-\vec r_1)\,R\sin\vartheta\,d\varphi\,d\vartheta$$Das Vorzeichen soll so gewählt werden, dass \(d\vec S_1\) nach außen zeigt:$$d\vec S_1=\vec r_1\cdot R\sin\vartheta\,d\varphi\,d\vartheta$$
Das Flächenelement für den zweiten Abtastvektor \(\vec r_2\) ist einfacher:$$d\vec S_2=\pm\left(\frac{\partial\vec r_2}{\partial r}\,dr\right)\times\left(\frac{\partial\vec r_2}{\partial\varphi}\,d\varphi\right)=\pm\begin{pmatrix}\cos\varphi\\\sin\varphi\\0\end{pmatrix}\times\begin{pmatrix}-r\sin\varphi\\r\cos\varphi\\0\end{pmatrix}dr\,d\varphi$$$$\phantom{d\vec S_2}=\pm\begin{pmatrix}0\\0\\r\cos^2\varphi+r\sin^2\varphi\end{pmatrix}dr\,d\varphi=\pm\begin{pmatrix}0\\0\\r\end{pmatrix}dr\,d\varphi=\pm\begin{pmatrix}0\\0\\1\end{pmatrix}\,r\,dr\,d\varphi$$Das Vorzeichen muss wieder so gewählt werden, dass \(d\vec S_2\) nach außen zeigt, also nach unten (Boden der Halbkugel):$$d\vec S_2=-\vec e_z\,r\,dr\,d\varphi$$
Damit können wir das Oberflächenintegral nun konkret formulieren:$$I=\oiint\limits_{S_H}\begin{pmatrix}2xy\\-y^2\\x^2\end{pmatrix}\,d\vec S$$$$\phantom I=\int\limits_{\varphi=0}^{2\pi}\;\int\limits_{\vartheta=0}^{\frac\pi2}\begin{pmatrix}2xy=2(R\cos\varphi\sin\vartheta)(R\sin\varphi\sin\vartheta)\\-y^2=-(R\sin\varphi\sin\vartheta)^2\\x^2=(R\cos\varphi\sin\vartheta)^2\end{pmatrix}\cdot\overbrace{\begin{pmatrix}R\cos\varphi\sin\vartheta\\R\sin\varphi\sin\vartheta\\R\cos\vartheta\end{pmatrix}\,R\sin\vartheta\,d\varphi\,d\vartheta}^{=d\vec S_1}$$$$\phantom I+\int\limits_{r=0}^R\;\int\limits_{\varphi=0}^{2\pi}\begin{pmatrix}2xy=\text{egal}\\-y^2=\text{egal}\\x^2=(r\cos\varphi)^2\end{pmatrix}\cdot\underbrace{\begin{pmatrix}0\\0\\-1\end{pmatrix}\,r\,dr\,d\varphi}_{=d\vec S_2}$$$$\phantom I=\int\limits_{\varphi=0}^{2\pi}\;\int\limits_{\vartheta=0}^{\frac\pi2}\begin{pmatrix}2\cos\varphi\sin\varphi\\-\sin^2\varphi\\\cos^2\varphi\end{pmatrix}\cdot \begin{pmatrix}\cos\varphi\sin\vartheta\\\sin\varphi\sin\vartheta\\\cos\vartheta\end{pmatrix}\cdot R^4\sin^3\vartheta\,d\varphi\,d\vartheta-\int\limits_{r=0}^R\;\int\limits_{\varphi=0}^{2\pi}r^3\cos^2\varphi\,dr\,d\varphi$$
Das zweite Doppel-Integral können wir schon mal schnell ausrechnen:$$\small I_2=\int\limits_{r=0}^R\;\int\limits_{\varphi=0}^{2\pi}r^3\cos^2\varphi\,dr\,d\varphi=\int\limits_{r=0}^Rr^3\,dr\int\limits_{\varphi=0}^{2\pi}\left(\frac12+\frac12\cos(2\varphi)\right)d\varphi=\left[\frac{r^4}{4}\right]_0^R\cdot\left[\frac\varphi2+\frac14\sin(2\varphi)\right]_0^{2\pi}=\frac{\pi R^4}{4}$$
Das erste Doppel-Integral berechnen wir stückweise:$$I_{11}=\int\limits_{\varphi=0}^{2\pi}\;\int\limits_{\vartheta=0}^{\frac\pi2}2\cos^2\varphi\sin\varphi R^4\sin^4\vartheta\,d\varphi\,d\vartheta=2R^4\underbrace{\int\limits_{\varphi=0}^{2\pi}\cos^2\varphi\sin\varphi\,d\varphi}_{=0}\int\limits_{\vartheta=0}^{\frac\pi2}\sin^4\vartheta\,d\vartheta=0$$$$I_{12}=\int\limits_{\varphi=0}^{2\pi}\;\int\limits_{\vartheta=0}^{\frac\pi2}-\sin^3\varphi R^4\sin^4\vartheta\,d\varphi\,d\vartheta=-R^4\underbrace{\int\limits_{\varphi=0}^{2\pi}\sin^3\varphi\,d\varphi}_{=0}\int\limits_{\vartheta=0}^{\frac\pi2}\sin^4\vartheta\,d\vartheta=0$$$$I_{13}=\int\limits_{\varphi=0}^{2\pi}\;\int\limits_{\vartheta=0}^{\frac\pi2}\cos^2\varphi\cos\vartheta R^4\sin^3\vartheta\,d\varphi\,d\vartheta=R^4\int\limits_{\varphi=0}^{2\pi}\cos^2\varphi\,d\varphi\int\limits_{\vartheta=0}^{\frac\pi2}\sin^3\vartheta\cos\vartheta\,d\vartheta$$$$\phantom{I_{13}}=R^4\left[\frac\varphi2+\frac14\sin(2\varphi)\right]_{\varphi=0}^{2\pi}\cdot\left[\frac14\sin^4(\vartheta)\right]_{\vartheta=0}^{\frac\pi2}=\pi R^4\cdot\frac14=\frac{\pi R^4}{4}$$
Damit haben wir das Integral vollständig berechnet:$$I=I_{11}+I_{12}+I_{13}-I_2=0+0+\frac{\pi R^4}{4}-\frac{\pi R^4}{4}=0$$
