Aloha :)
Die Punktmenge \(D\) wird durch drei Geraden beschränkt:$$x=0\quad;\quad y=x\quad;\quad y=2a-x\quad\text{mit}\quad a>0$$Die Begrenzung \(x=0\) ist die \(y\)-Achse. Die Gerade \(y=x\) schneidet die \(y\)-Achse bei \((0;0)\). Die Gerade \(y=2a-x\) schneidet die \(y\)-Achse bei \((0;2a)\). Die beiden Geraden \(y=x\) und \(y=2a-x\) schneiden sich bei \((a;a)\). Die Punktmenge \(D\) ist also das Dreieck mit den Eckpunkten \((0;0),(0;2a),(a;a)\). Wir können sie daher wie folgt parametrisieren:$$D=\{(x;y)\in\mathbb R^2\,\big|\,x\in[0;a]\;\land\;y\in[x;2a-x]\}$$
~plot~ x=0 ; x ; 2*2-x ; {0|0} ; {0|4} ; {2|2} ; [[-0,5|2,5|-0,5|4,5]] ~plot~
Damit ist das Integral nun:$$I=\iint\limits_D\left(x^2+y^2\right)dx\,dy=\int\limits_{x=0}^a\int\limits_{y=x}^{2a-x}\left(x^2+y^2\right)dy\,dx=\int\limits_{0}^a\left[x^2y+\frac{y^3}{3}\right]_{y=x}^{2a-x}dx$$$$\phantom{I}=\frac{4}{3}\int\limits_{0}^a\left(2a^3-3a^2x+3ax^2-2x^3\right)dx=\frac{4}{3}\left[2a^3x-\frac32a^2x^2+ax^3-\frac{x^4}2\right]_0^a=\frac43a^4$$