Hallo Miho,
$$ \begin{aligned} \partial_x f(x,y) &= \left( \partial_x e^{-(x^2+y^2)}\right) (x^2+2y^2) + e^{-(x^2+y^2)} \left( \partial_x (x^2 + 2y^2) \right) \\&= (-2x e^{-(x^2+y^2)} )(x^2+2y^2) + e^{-(x^2+y^2)} (2x) \\& = 2x e^{-(x^2+y^2)}\left( 1 - x^2 - 2y^2 \right) \end{aligned} $$
$$ \begin{aligned} \partial_y f(x,y) &= \left( \partial_y e^{-(x^2+y^2)}\right) (x^2+2y^2) + e^{-(x^2+y^2)} \left( \partial_y (x^2 + 2y^2) \right) \\&= (-2y e^{-(x^2+y^2)} )(x^2+2y^2) + e^{-(x^2+y^2)} (4y) \\& = 2y e^{-(x^2+y^2)}\left( 2 - x^2 - 2y^2 \right) \end{aligned} $$
also
$$ \nabla f(x,y) = 2e^{-(x^2+y^2)} \begin{pmatrix} x (1-x^2-2y^2) \\ y (2-x^2-2y^2)\end{pmatrix} $$
Für die Hessematrix musst du \( \partial_x^2 f \), \( \partial_y^2 f \), \(\partial_x \partial y f \) und \( \partial_y \partial_x f \) berechnen, denke dabei vielleicht an den Satz von Schwarz. Rauskommen sollte:
$$ H_f (x,y) = 2 e^{-(x^2+y^2)} \begin{pmatrix} 2x^4 + 4x^2y^2- 5x^2-2y^2 + 1 & 2xy(x^2+2y^2-3)\\ 2xy(x^2+2y^2-3) & 4y^4 + 2x^2y^2 -x^2-10y^2+ 2 \end{pmatrix} $$
b) Suche die Gradienten-Nullstellen:
$$ \nabla f(x,y) = \begin{pmatrix} 0\\0\end{pmatrix} \iff x(1-x^2-2y^2) = 0 \land y(2-x^2-2y^2) = 0 $$
(x,y) = (0,0) ist eine Nullstelle. Sei \( (x,y) \neq (0,0) \) eine weitere Nullstelle
Falls x = 0, \( y \neq 0 \) muss \( (2-2y^2) = 0 \) sein, d.h. \( y = \pm 1 \).
Falls y =0, \( x\neq 0 \) muss \( (1-x^2) = 0 \) sein, also folgt \( x = \pm 1 \).
Falls \( x,y \neq0 \) müsste \( 1-x^2-2y^2 = 0 = 2-x^2-2y^2 \) gelten, das können also keine Nullstellen des Gradienten sein.
Die Nullstellen sind somit \( (0,0),~ (0,\pm 1),~ (\pm 1, 0 ) \). Diese setzen wir jetzt nacheinander in die Hesse-Matrix ein und bestimmen ihre Definitheit:
$$ H_f (0,0) = 2\begin{pmatrix} 1 & 0 \\0& 2 \end{pmatrix} $$
positiv definit (Eigenwerte 2, 4 > 0) => lokales Minimum bei (0,0)
$$ H_f (\pm 1, 0) = 2 e^{-1} \begin{pmatrix} -2 & 0 \\0& 1 \end{pmatrix} $$
indefinit (Eigenwerte -4/e < 0, 2/e > 0) => Sattelpunkte bei (-1,0) und (1,0).
$$ H_f (0, \pm 1) = 2 e^{-1} \begin{pmatrix} -1 & 0 \\0& -4 \end{pmatrix} $$
negativ definit (Eigenwerte -2/e, -8/e < 0) => lokale Maxima bei (0,-1) und (0,1).
Da \( f(x,y) \ge 0 \) ist das Minima bei (0,0) sogar global.
Da \( \lim_{||(x,y)||\to \infty} f(x,y) = 0 < f(0,\pm 1) \) sind die Maxima bei (0,-1) und (0,1) ebenfalls global.