Aloha :)
Willkommen in der Mathelounge... \o/
Dein Ansatz ist vollkommen richtig:$$J_z=\int\limits_{\small z=0}^{\small h}\;\;\;\int\limits_{\small x=-\frac{az}{2h}}^{\small\frac{az}{2h}}\;\;\;\int\limits_{\small y=-\frac{az}{2h}}^{\small\frac{az}{2h}}\rho_0\cdot(x^2+y^2)\,dx\,dy\,dz$$
Allerdings musst du dich beim Integrieren fürchterlich vertan haben, weil darin noch die Integrationsvariablen \(x\) und \(y\) auftauchen.
Die Pyramide hat die konstante Dichte$$\rho_0=\frac{M}{V}=\frac{M}{\frac13a^2h}=\frac{3M}{a^2h}$$Ihr Trägheitsmoment um die Hauptsymmetrie-Achse ist daher:$$J_z=\frac{3M}{a^2h}\int\limits_{\small z=0}^{\small h}\left(\;\;\;\int\limits_{\small x=-\frac{az}{2h}}^{\small\frac{az}{2h}}\left(\;\;\;\int\limits_{\small y=-\frac{az}{2h}}^{\small\frac{az}{2h}}(x^2+y^2)\,dy\right)dx\right)dz$$
Beim innersten Integral über \(dy\) nutzen wir aus, dass der Integrand bezüglich \(y\) symmetrisch ist. Wir können daher die untere Integrationsgrenze durch \(0\) ersetzen und dafür den Wert des Integrals verdoppeln:$$J_z=\frac{3M}{a^2h}\int\limits_{\small z=0}^{\small h}\left(\;\;\;\int\limits_{\small x=-\frac{az}{2h}}^{\small\frac{az}{2h}}\left(\;\;\;2\left[x^2y+\frac{y^3}{3}\right]_{\small y=0}^{\small\frac{az}{2h}}\right)dx\right)dz$$$$\phantom{J_z}=\frac{3M}{a^2h}\int\limits_{\small z=0}^{\small h}\left(\;\;\;\int\limits_{\small x=-\frac{az}{2h}}^{\small\frac{az}{2h}}\left(\frac{azx^2}{h}+\frac{a^3z^3x^3}{12h^3}\right)dx\right)dz$$
Beim Integral über \(dx\) nutzen wir die Symmetrie erneut aus. Der Term \(\frac{a^3z^3x^3}{12h^3}\) ist punktsymmetrisch in \(x\), sodass er wegen des symmetrischen Integrationsintervalls keinen Beitrag zum Integral liefert. Der Term \(\frac{azx^2}{h}\) ist dagegen achsensymmetrisch bezüglich \(x\). Wir können daher wieder die untere Integrationsgrenze Null setzen und dafür seinen Beitrag zum Integral verdoppeln.
$$J_z=\frac{3M}{a^2h}\int\limits_{\small z=0}^{\small h}2\left[\frac{azx^3}{3h}\right]_0^{\small\frac{az}{2h}}dz=\frac{3M}{a^2h}\int\limits_{\small z=0}^{\small h}\frac{a^4z^4}{12h^4}\,dz=\frac{3M}{a^2h}\cdot\frac{a^4}{12h^4}\int\limits_0^hz^4\,dz$$$$\phantom{J_z}=\frac{3M}{a^2h}\cdot\frac{a^4}{12h^4}\cdot\frac {h^5}{5}=\frac{3Ma^4h^5}{60a^2h^5}=\frac{1}{20}\,Ma^2$$