Aloha :)
Du hast hier 2 Zufallsvariablen \(X\) und \(Y\), die sich eine gemeinsame Dichtefunktion teilen: $$f(x,y)=3x\quad;\quad0\le y\le x\le1\quad\text{bzw.}\quad x,y\in[0;1]\;\land\;y\le x$$
Daher musst du bei der Berechnung der Erwartungswerte auch stets über beide Zufallsvariablen integrieren. Bei \(E(x)\) musst du darauf achten, dass \(x\in[y;1]\) und \(y\in[0;1]\) gilt. Das führt dazu, dass nach der Integration über \(dx\) noch ein \(y\) durch die Integrationsgrenzen ins Spiel kommt. Daher musst du zuerst über \(dx\) und danach über \(dy\) integrieren:$$E(x)=\int\limits_0^1dy\int\limits_y^1dx\, x\cdot f(x,y)=\int\limits_0^1dy\int\limits_y^1dx\, 3x^2=\int\limits_0^1dy\left[x^3\right]_{x=y}^1$$$$\phantom{E(x)}=\int\limits_0^1dy\left(1-y^3\right)=\left[y-\frac{y^4}{4}\right]_0^1=\frac{3}{4}$$
Bei \(E(y)\) ist \(x\in[0;1]\) und \(y\in[0;x]\). Das führt dazu, dass nach der Integration über \(dy\) noch ein \(x\) durch die Integrationsgrenzen ins Spiel kommt. Daher musst du zuerst über \(dy\) und danach über \(dx\) integrieren:$$E(y)=\int\limits_0^1dx\int\limits_0^xdy\, xy\cdot f(x,y)=\int\limits_0^1dx\int\limits_0^xdy\, 3xy=\int\limits_0^1dx\left[\frac{3}{2}xy^2\right]_{y=0}^x$$$$\phantom{E(y)}=\int\limits_0^1dx\frac{3}{2}x^3=\left[\frac{3}{8}x^4\right]_0^1=\frac{3}{8}$$
Bei \(E(xy)\) können wir uns die Integrationsreihenfolge aussuchen. Wegen Copy-Paste behalte ich die von gerade eben bei:
$$E(xy)=\int\limits_0^1dx\int\limits_0^xdy\, xy\cdot f(x,y)=\int\limits_0^1dx\int\limits_0^xdy\, 3x^2y=\int\limits_0^1dx\left[\frac{3}{2}x^2y^2\right]_{y=0}^x$$$$\phantom{E(xy)}=\int\limits_0^1dx\frac{3}{2}x^4=\left[\frac{3}{10}x^5\right]_0^1=\frac{3}{10}$$Damit ist die gesuchte Kovarianz:$$\text{Cov}(x,y)=\frac{3}{10}-\frac{3}{4}\cdot\frac{3}{8}=\frac{3}{10}-\frac{9}{32}=\frac{48}{160}-\frac{45}{160}=\frac{3}{160}$$
