Aloha :)
Willkommen in der Mathelounge... \o/
Wir bewegen uns über den Intervallen \(x\in[0;a]\) und \(y\in[0;a]\). Wir brauchen einen Ortsvektor \(\vec r\), der die Oberfläche des Kegels abtastet:$$\vec r=\begin{pmatrix}x\\y\\z\end{pmatrix}=\begin{pmatrix}x\\y\\\sqrt{2xy}\end{pmatrix}$$Nun benötigen wir das Flächenelement \(d\vec f\), das auf der Fläche senkrecht steht:
$$df=\left\|\left(\frac{\partial\vec r}{\partial x}dx\right)\times\left(\frac{\partial\vec r}{\partial y}dy\right)\right\|=\left\|\begin{pmatrix}1\\0\\\sqrt{\frac{y}{2x}}\end{pmatrix}\times\begin{pmatrix}0\\1\\\sqrt{\frac{x}{2y}}\end{pmatrix}\right\|dx\,dy=\left\|\begin{pmatrix}-\sqrt{\frac{y}{2x}}\\[1ex]-\sqrt{\frac{x}{2y}}\\1\end{pmatrix}\right\|dx\,dy$$$$\phantom{df}=\sqrt{\frac{y}{2x}+\frac{x}{2y}+1}\,dx\,dy=\sqrt{\frac{2y^2+2x^2+4xy}{4xy}}\,dx\,dy=\sqrt{\frac{(x+y)^2}{2xy}}\,dx\,dy=\frac{x+y}{\sqrt{2xy}}\,dx\,dy$$
Damit können wir die gesuchte Fläche formulieren:
$$F=\int\limits_{x=0}^a\;\int\limits_{y=0}^a\frac{x+y}{\sqrt{2xy}}\,dx\,dy=\frac{1}{\sqrt2}\int\limits_{x=0}^a\;\int\limits_{y=0}^a\left(\frac{x}{\sqrt{xy}}+\frac{y}{\sqrt{xy}}\right)dx\,dy$$$$\phantom{F}=\frac{1}{\sqrt2}\int\limits_{x=0}^a\;\int\limits_{y=0}^a\left(x^{\frac12}y^{-\frac12}+x^{-\frac12}y^{\frac12}\right)dx\,dy=\frac{1}{\sqrt2}\int\limits_{x=0}^a\left[2x^{\frac12}y^{\frac12}+\frac23x^{-\frac12}y^{\frac32}\right]_{y=0}^adx$$$$\phantom{F}=\frac{1}{\sqrt2}\int\limits_{x=0}^a\left(2\sqrt a\,x^{\frac12}+\frac23a\sqrt a\,x^{-\frac12}\right)dx=\sqrt{2a}\int\limits_{x=0}^a\left(x^{\frac12}+\frac a3\,x^{-\frac12}\right)dx$$$$\phantom{F}=\sqrt{2a}\left[\frac23\,x^{\frac32}+\frac {2a}3\,x^{\frac12}\right]_{x=0}^a=\sqrt{2a}\left(\frac23\,a\sqrt a+\frac23\,a\sqrt a\right)=\frac{4\sqrt2}{3}\,a^2$$
