Aloha :)
Willkommen in der Mathelounge... \o/
Ich versuche mal, deine Angaben zu ordnen. Gesucht ist der Fluss \(\Phi\) des Vektorfeldes$$\vec F(\vec r)=\begin{pmatrix}2xy\\-y^2\\x^2\end{pmatrix}$$durch die Oberfläche einer Halbkugel:$$S=\{(x;y;z)\in\mathbb R^3\,\big|\,x^2+y^2+z^2=R\;\land\;z\ge0\}$$Die Menge \(S\) beschreibt lediglich die Kugelschale. Es fehlt die kreisrunde Grundfläche$$G=\{(x;y;z)\in\mathbb R^3\,\big|\,x^2+y^2\le R^2\;\land\;z=0\}$$
Der Fluss durch die geschlossene Halbkugel \(S\cup G\) verschwindet, weil die Divergenz des Vektorfeldes \(\vec F\) verschwindet. Das folgt direkt aus dem Gauß'schen Integralsatz:$$\Phi_{S\cup G}=\oiint\limits_{S\cup G}\vec F\,d\vec f=\iiint\limits_{V(S\cup G)}\operatorname{div}\vec F(\vec r)\,dV=\iiint\limits_{V(S\cup G)}(2y-2y+0)\,dV=0$$
Du kannst daher den Fluss durch die Kugelschale \(S\) bestimmen, indem du den Fluss durch die Grundfläche \(G\) bestimmst, denn es ist ja:$$0=\Phi_{S\cup G}=\Phi_S+\Phi_G\implies\Phi_S=-\Phi_G$$
Als Parametrisierung für \(G\) wählen wir Polarkoordinaten, wobei der Normalenvektor der Fläche definitionsgemäß aus dem Volumen heraus gerichtet ist, also hier nach unten:$$\vec r=\begin{pmatrix}\red x\\\green y\\0\end{pmatrix}=\begin{pmatrix}\red{r\cos\varphi}\\\green{r\sin\varphi}\\0\end{pmatrix}\quad;\quad r\in[0;R]\;;\;\varphi\in[0;2\pi]\quad;\quad d\vec f=\begin{pmatrix}0\\0\\-1\end{pmatrix}r\,dr\,d\varphi$$
Damit erhalten wir den gesuchten Fluss:$$\Phi_S=-\Phi_G=-\int\limits_{r=0}^R\;\int\limits_{\varphi=0}^{2\pi}\begin{pmatrix}2(\red{r\cos\varphi})(\green{r\sin\varphi})\\-(\red{r\sin\varphi})^2\\ (\green{r\cos\varphi})^2\end{pmatrix}\begin{pmatrix}0\\0\\-1\end{pmatrix}r\,dr\,d\varphi=\int\limits_{r=0}^Rr^3\,dr\int\limits_{\varphi=0}^{2\pi}\cos^2\varphi\,d\varphi$$$$\phantom{\Phi_S}=\frac{R^4}{4}\int\limits_{\varphi=0}^{2\pi}\left(\frac12+\frac12\cos(2\varphi)\right)d\varphi=\frac{R^4}{4}\cdot\frac12\cdot2\pi=\frac{\pi R^4}{4}$$
