Aloha :)
Willkommen in der Mathelounge... \o/
Deine Idee mit den Kugelkoordinaten ist sehr gut:$$\vec r=\begin{pmatrix}r\cos\varphi\sin\vartheta\\r\sin\varphi\sin\vartheta\\r\cos\vartheta\end{pmatrix}\quad;\quad r\in[0;R]\;;\;\varphi\in[0;2\pi]\;;\;\vartheta\in\left[0;\frac\pi2\right]$$Die Bedingung \(z\ge0\) haben wir darin schon berücksichtigt, indem die obere Grenze für \(\vartheta\) nicht \(\pi\), sondern \(\frac\pi2\) beträgt.
Da die Dirchte \(\rho(\vec r)=az=ar\cos\vartheta\) nur vom Betrag \(r\) und dem Winkel \(\vartheta\) abhängt, können wir mit dem Volumenelment \(dV=r^2\sin\vartheta\,dr\,d\varphi\,d\vartheta\) in Kugelkoordinaten die Masse \(M\) der Halbkugel wie folgt bestimmen:$$\green M=\int\limits_V\rho(\vec r)\,dV=\int\limits_{r=0}^R\;\int\limits_{\varphi=0}^{2\pi}\int\limits_{\vartheta=0}^{\pi/2}\underbrace{ar\cos\vartheta}_{=\rho(\vec r)}\,\underbrace{r^2\sin\vartheta\,dr\,d\varphi\,d\vartheta}_{=dV}$$$$\phantom M=a\int\limits_{r=0}^Rr^3\,dr\int\limits_{\varphi=0}^{2\pi}d\varphi\int\limits_{\vartheta=0}^{\pi/2}\sin\vartheta\,\cos\vartheta\,d\vartheta=a\left[\frac{r^4}{4}\right]_0^R\cdot\left[\varphi\right]_0^{2\pi}\cdot\left[\frac12\sin^2\vartheta\right]_0^{\pi/2}$$$$\phantom M=a\cdot\frac{R^4}{4}\cdot2\pi\cdot\frac12=\green{\frac{\pi}{4}\,aR^4}$$
Wegen der Symmetrie des Problems liegt der Schwerpunkt auf der \(z\)-Achse, d.h. wir kennen bereits 2 Schwerpunktkoordinaten \(\pink{x_S=y_S=0}\) und müssen nur noch eine bestimmen:$$\pink{z_S}=\frac{1}{M}\int\limits_V\rho(\vec r)z\,dV=\frac{1}{M}\int\limits_{r=0}^R\;\int\limits_{\varphi=0}^{2\pi}\int\limits_{\vartheta=0}^{\pi/2}\underbrace{ar\cos\vartheta}_{=\rho(\vec r)}\,\underbrace{r\cos\vartheta}_{=z}\,\underbrace{r^2\sin\vartheta\,dr\,d\varphi\,d\vartheta}_{=dV}$$$$\phantom{z_S}=\frac{a}{M}\int\limits_{r=0}^{2\pi}r^4\,dr\int\limits_{\varphi=0}^{2\pi}d\varphi\int\limits_{\vartheta=0}^{\pi/2}\sin\vartheta\cos^2\vartheta\,d\vartheta=\frac aM\cdot\left[\frac{r^5}{5}\right]_0^R\cdot\left[\varphi\right]_0^{2\pi}\cdot\left[-\frac13\cos^3\vartheta\right]_0^{\frac\pi2}$$$$\phantom{z_S}=\frac aM\cdot\frac{R^5}{5}\cdot2\pi\cdot\frac13=\frac{2\pi}{15}\,\frac{aR^5}{\green M}=\frac{2\pi}{15}\,\frac{aR^5}{\green{\frac\pi4aR^4}}=\pink{\frac{8}{15}R}$$