Aloha :)
Nachdem nun in den Kommentaren endlich klar geworden ist, wie der Zylinder im Koordinatensystem positioniert ist, habe ich die Antwort nochmal überarbeitet. Wegen der Skizze können wir nun die Integrationsintervalle konkretisieren:$$\vec r=\begin{pmatrix}r\cos\varphi\\r\sin\varphi\\z\end{pmatrix}\quad;\quad r\in[0;1]\;;\;\varphi\in[0;2\pi]\;;\;z\in[3;5]$$
Die Masse \(M\) des Zylinders mit der gegebenen Dichte \(\rho(x,y,z)\) erhalten wir, indem wir für jeden Punkt \(\vec r\) des Zylinders die infinitesimale Masse \(dm=\rho(x,y,z)\,dV\) addieren:$$M=\int\limits_V\rho(x;y;z)\,dV$$
Beim Übergang zu Zylinerkoordinaten müssen wir in \(\rho(x;y;z)\) die kartesischen Koordinaten durch die Koordinaten unseres Ortsvektors \(\vec r\) ersetzen:$$\rho(x;y;z)=2x^2+2y^2+2z=2(r\cos\varphi)^2+2(r\sin\varphi)^2+2z=2r^2+2z$$und beachten, dass das Volumenelement \(dV\) verzerrt wird:$$dV=r\,dr\,d\varphi\,dz$$In Zylinderkoordinaten formuliert lautet das zu berechnende Integral daher:
$$M=\int\limits_{r=0}^1\,\int\limits_{z=3}^5\,\int\limits_{\varphi=0}^{2\pi}\left(2r^2+2z\right)\,r\,dr\,d\varphi\,dz=2\int\limits_{\varphi=0}^{2\pi}d\varphi\int\limits_{r=0}^1\,\int\limits_{z=3}^5\left(r^3+rz\right)\,dr\,dz$$$$\phantom{M}=2\cdot2\pi\int\limits_{0}^1\left[r^3z+\frac{rz^2}{2}\right]_{z=3}^5dr=4\pi\int\limits_0^1\left(5r^3+\frac{25}{2}r-3r^3-\frac{9}{2}r\right)dr$$$$\phantom{M}=4\pi\int\limits_0^1\left(2r^3+8r\right)dr=4\pi\cdot\frac{9}{2}=18\pi$$
