Aloha :)
Die Masse \(M\) befinde sich am Ort \(\vec r_M\) und die Masse \(m\) befinde sich am Ort \(\vec r_m\). Dann können wir den Abstand \(r\) zwischen den beiden Massen als Betrag einer Vektor-Differenz ausdrücken:$$F=G\,\frac{mM}{r^2}=G\,\frac{mM}{\left\|\vec r_M-\vec r_m\right\|^2}$$Weiterhin wissen wir, dass sich die beiden Massen "in gerader Linie" gegenseitig anziehen. Die Masse \(m\) spürt daher eine Kraft in Richtung der Masse \(M\). Das können wir dadurch ausdrücken, dass wir der Gleichung Vektor-Charakter geben:$$\vec F=G\,\frac{mM}{\left\|\vec r_M-\vec r_m\right\|^2}\cdot\frac{(\vec r_M-\vec r_m)}{\left\|\vec r_M-\vec r_m\right\|}=G\,\frac{mM}{\left\|\vec r_M-\vec r_m\right\|^3}\cdot(\vec r_M-\vec r_m)$$Beachte, dass der Vektor von \(m\) in Richtung \(M\) zeigt. (Wir gehen vom \(m\) aus mit \(-\vec r_m\) zum Ursprung und von da mit \(+\vec r_M\) zur Masse \(M\).)
Wenn wir jetzt nicht nur eine Masse \(M\), sondern \(N\) solcher Massen \(M_i\) an den Orten \(\vec r_i\) haben, spürt \(m\) die Summe aller dieser Kräfte auf sich wirken:$$\vec F=\sum\limits_{i=1}^N G\,\frac{mM_i}{\left\|\vec r_i-\vec r_m\right\|^3}\cdot(\vec r_i-\vec r_m)$$Bei einer kontinuierlichen Massenverteilung von \(M\) können wir das Volumen \(V\) der Masse \(M\) durch einen Vektor \(\vec r\,'\) abtasten und statt der Massen \(M_i\) die Massendichte \(\rho(\vec r\,')\) am Ort \(\vec r\,'\) einsetzen:
$$\vec F=\int\limits_VG\,\frac{m\rho(\vec r\,')}{\left\|\vec r\,'-\vec r_m\right\|^3}\cdot(\vec r\,'-\vec r_m)\,dV$$Deine Hohlkugel hat eine homogene Massenverteilung \(\rho(\vec r\,')=\frac{M}{V}\), sodass:
$$\vec F=mG\,\frac{M}{V}\int\limits_V\frac{\vec r\,'-\vec r_m}{\left\|\vec r\,'-\vec r_m\right\|^3}\,dV$$Dieses Integral musst du jetzt "nur noch" berechnen ;)