Aloha :)
Du hast die richtige Idee schon gehabt. Die Kandidaten für Extremwerte von$$f(x;y)=x^2y(2-y)-2y+1=x^2(2y-y^2)-2y+1$$finden wir dort, wo der Gradient verschwindet:
$$\operatorname{grad}f(x;y)=\binom{2x(2y-y^2)}{x^2(2-2y)-2}=\binom{2x\cdot y\cdot(2-y)}{2x^2\cdot(1-y)-2}\stackrel!=\binom{0}{0}$$Aus der \(x_1\)-Koordinate folgt \(x=0\) oder \(y=0\) oder \(y=2\). Wir prüfen, ob für diese Werte die \(x_2\)-Koordinate null werden kann:$$x=0\implies2x^2\cdot(1-y)-2=-2\ne0\quad\otimes$$$$y=0\implies2x^2\cdot(1-y)-2=2x^2-2=2(x-1)(x+1)\stackrel!=0\implies x=\pm1\quad\checkmark$$$$y=2\implies2x^2\cdot(1-y)-2=-2x^2-2=-2(x^2+1)<-2\quad\otimes$$Wir haben also zwei Kandidaten für Extrema:\(\quad K_1(-1|0)\quad;\quad K_2(1|0)\).
Wir prüfen beide Kandidaten mit Hilfe der Hesse-Matrix.
$$H(x;y)=\begin{pmatrix}2y(2-y) & 2x(2-2y)\\2x(2-2y) & -2x^2\end{pmatrix}\implies$$$$H(-1;0)=\begin{pmatrix}0 & -4\\-4 & -2 \end{pmatrix}\quad;\quad H(1;0)=\begin{pmatrix}0 & 4\\4 & -2 \end{pmatrix}$$Die Summe der Eigenwerte einer Matrix ist gleich ihrer Spur und das Produkt der Eigenwerte ist gleich ihrer Determinante. Da bei beiden Hesse-Matrizen die Spur gleich \(-2\) und die Determinante gleich \((-16)\) ist, haben beide Matrizen dieselben Eigenwerte:$$\lambda_1+\lambda_2=-2\quad;\quad\lambda_1\cdot\lambda_2=-16\quad\implies\lambda_1=-(\sqrt{17}+1)\;;\;\lambda_2=\sqrt{17}-1$$Da die Eigenwerte unterschiedliche Vorzeichen haben, ist die Hesse-Matrix indefinit, sodass unsere beiden Kandidaten keine Extrema, sondern Sattelpunkte sind.
