Aloha :)
Die Punktmasse \(M\) sitzt am Ort \(\vec r_0=(0;0;z_0)\).
Die Menge \(K\) ist eine Kugel mit Mittelpunkt im Ursprung und Radius \(R<z_0\), d.h. die Punktmasse befindet sich oberhalb der Kuigel. Die Masse ist innerhalb der Kugel homogen mit der konstanten Massendichte \(\rho\) verteilt.
Die von \(M\) auf \(K\) ausgeübte Kraft ist nun:$$\vec F=\pink-\int\limits_K\frac{\rho GM}{\left\|\vec r-\vec r_0\right\|^3}(\vec r-\vec r_0)\,dV$$Das pinke Minuszeichen vorne kommt daher, dass ich als Faktor \((\vec r-\vec r_0)\) geschrieben habe, obwohl in der Aufgabenstellung \((\vec r_0-\vec r)\) steht.
Da die Kraft eine vektorielle Größe ist, muss das Integral natürlich auch einen Vektor liefern. Du kannst einfach jede der drei Komponenten des Vektors für sich integrieren.
Dieses Integral zu berechnen macht aber nicht wirklich Spaß. In dem Integral tastet \(\vec r\) das Volumen \(V\) der Kugel ab, d.h. über \(\vec r\) wird integriert und das Ergebnis wird nur noch von \(\vec r_0\) abhängen. Die Idee ist nun, dass wir vor der Berechnung des Integrals über \(\vec r_0\) intergrieren und nach der Berechnung des Integrals das Ergebnis wieder nach \(\vec r_0\) ableiten, also den Gradienten bezüglich \(\vec r_0\) bilden. Es gilt nämlich nach der Kettenregel:$$\operatorname{grad}_{\vec r_0}\frac{1}{\|\vec r-\vec r_0\|}=\operatorname{grad}_{\vec r_0}\left((x-x_0)^2+(y-y_0)^2+(z-z_0)^2\right)^{-\frac12}$$$$\qquad=-\frac12\left((x-x_0)^2+(y-y_0)^2+(z-z_0)^2\right)^{-\frac32}\begin{pmatrix}-2(x-x_0)\\-2(y-y_0)\\-2(z-z_0)\end{pmatrix}=\frac{\vec r-\vec r_0}{\left\|\vec r-\vec r_0\right\|^3}$$
Daher können wir das Kraftintegral umformulieren:$$\vec F=-\operatorname{grad}_{\vec r_0}\int\limits_K\frac{\rho GM}{\left\|\vec r-\vec r_0\right\|}\,dV$$
Der Ortsvektor \(\vec r\) tastet das Volumen \(V\) der Kugel \(K\) ab. In Kugelkoordinaten lautet er:$$\vec r=\begin{pmatrix}r\cos\varphi\sin\vartheta\\r\sin\varphi\sin\vartheta\\r\cos\vartheta\end{pmatrix}\quad;\quad r\in[0;R]\;;\;\varphi\in[0;2\pi]\;;\;\vartheta\in[0;\pi]$$Beim Übergang zu Kugelkoordinaten müssen wir beachten, dass das Volumenelement verzerrt wird und daher korrigiert werden muss:$$dV=dx\,dy\,dz=r^2\sin\vartheta\,dr\,d\varphi\,d\vartheta$$
Damit haben wir alle Informationen zur Formulierung des Integrals gesammelt:$$\vec F=-\operatorname{grad}_{\vec r_0}\left(\int\limits_{r=0}^R\;\int\limits_{\varphi=0}^{2\pi}\;\int\limits_{\vartheta=0}^\pi\frac{\rho GM}{\left\|\begin{pmatrix}r\cos\varphi\sin\vartheta\\r\sin\varphi\sin\vartheta\\r\cos\vartheta\end{pmatrix}-\begin{pmatrix}0\\0\\z_0\end{pmatrix}\right\|}\,r^2\sin\vartheta\,dr\,d\varphi\,d\vartheta\right)$$
$$\vec F=-\rho GM\operatorname{grad}_{\vec r_0}\left(\;\int\limits_{r=0}^R\;\int\limits_{\varphi=0}^{2\pi}d\varphi\int\limits_{\vartheta=0}^\pi\frac{r^2\sin\vartheta}{\left(r^2\sin^2\vartheta+(r\cos\vartheta-z_0)^2\right)^{1/2}}\,dr\,d\vartheta\right)$$
$$\vec F=2\pi\rho GM\operatorname{grad}_{\vec r_0}\left(\;\int\limits_{r=0}^Rr^2\int\limits_{\vartheta=0}^\pi\frac{1}{\left(r^2-2rz_0\cos\vartheta+z_0^2\right)^{1/2}}\,dr\,d(\cos\vartheta)\right)$$
Beachte, dass \(\frac{d(\cos\vartheta)}{d\vartheta}=-\sin\vartheta\) gilt, sodass wir \((-\sin\vartheta\,d\vartheta)\) durch \(d(\cos\vartheta)\) substituieren können und das Integral nach der neuen "Variablen" \((\cos\varphi)\) sofort angeben können:
$$\vec F=2\pi\rho GM\operatorname{grad}_{\vec r_0}\left(\;\int\limits_{r=0}^Rr^2\left[\frac{\left(r^2-2rz_0\cos\vartheta+z_0^2\right)^{1/2}}{-rz_0}\right]_{\vartheta=0}^\pi\,dr\right)$$$$\phantom{\vec F}=2\pi\rho GM\operatorname{grad}_{\vec r_0}\left(\;\int\limits_{r=0}^Rr^2\left(\frac{\left(r^2+2rz_0+z_0^2\right)^{1/2}}{-rz_0}-\frac{\left(r^2-2rz_0+z_0^2\right)^{1/2}}{-rz_0}\right)dr\right)$$$$\phantom{\vec F}\stackrel{(z_0>R\ge r)}{=}2\pi\rho GM\operatorname{grad}_{\vec r_0}\left(\;\int\limits_{r=0}^Rr^2\left(\frac{z_0+r}{-rz_0}-\frac{z_0-r}{-rz_0}\right)dr\right)$$$$\phantom{\vec F}=2\pi\rho GM\operatorname{grad}_{\vec r_0}\left(\;\int\limits_{r=0}^R-\frac{2r^2}{z_0}\,dr\right)=-\left(\frac43\pi R^3\rho\right) GM\operatorname{grad}_{\vec r_0}\left(\frac{1}{z_0}\right)$$
Nun müssen wir noch den Gradienten bestimmen. Da \(x_0\) und \(y_0\) in unserem Ergebnis überhaupt nicht vorkommen, wirkt die Kraft nur entlang der z-Achse, was aber wegen der Symmetrie des Problems auch zu erwarten ist:$$\vec F=\left(\frac43\pi R^3\rho\right)GM\begin{pmatrix}0\\0\\\frac{1}{z_0^2}\end{pmatrix}$$
Interessant an dem Ergebnis ist der geklammerte Ausdruck. Dieser ist nämlich das Volumen der Kugel mal ihrer Dichte, also gleich ihrer Masse \(m\). Obwohl die Kugel eine räumliche Ausdehnung hat, wird sie von der Punktmasse \(M\) so angenzogen, als sei ihre gesamte Kugelmasse im Zentrum vereint:$$F_z=G\,\frac{m\cdot M}{z_0^2}\quad;\quad m\coloneqq\frac43\pi R\rho$$
