H beschreibt hier die obere Halbkugel um den Ursprung mit Radius 3.
Daher bieten sich Kugelkoordinaten an.
Für die Skizze und Variablenbelegung siehe Bild unter:
https://de.wikipedia.org/wiki/Kugelkoordinaten
$$x=rcos(\varphi)sin(\vartheta)\\ y=rsin(\varphi)sin(\vartheta)\\ z=rcos(\vartheta)$$
Da z>=0 gilt ist
$$0 <=\vartheta<=\pi/2\\ 0 <=\varphi<=2\pi\\ 0<=r<=3$$
Die Berechnung des Flussintegrals bietet sich der Satz von Gauss an (falls ihr den schon hattet).
$$\int_{\partial H} FdA=\int_{H} div (F) dV$$
Es ist
$$div F=3x^2+x^2+x^2=5x^2$$
Hier setzt du nun die Transformation vom Anfang ein, also
$$5x^2=5*r^2cos^2(\varphi)sin^2(\vartheta)$$
Das Volumenelement in Kugelkoordinaten lautet
$$dV=r^2sin(\vartheta)drd\varphi d\vartheta$$
Damit ist
$$I=\int_H div(F)dV= \int_{0}^{3}5*r^4dr\int_{0}^{2\pi}cos^2(\varphi)d\varphi\int_{0}^{\pi/2}sin^3(\vartheta)d\vartheta $$
