f(x, y) = - x^2 - y^2 + x·y^2 - 5·x - 6·y + 42
f'(x, y) = [- 2·x + y^2 - 5, 2·x·y - 2·y - 6] = [0, 0]
- 2·x + y^2 - 5 = 0 --> x = 0.5·y^2 - 2.5
2·x·y - 2·y - 6 = 0
I in II einsetzen
y^3 - 7·y - 6 = 0 --> y = 3 ∨ y = -2 ∨ y = -1
So erhältst du dann folgende Stellen
(x = -0.5 ∧ y = -2) ∨ (x = -2 ∧ y = -1) ∨ (x = 2 ∧ y = 3)
Prüfe dann noch auf die Art des kritischen Punktes.
Vergleiche im Anschluss deine Ergebnisse mit denen von Wolframalpha
https://www.wolframalpha.com/input/?i=optimize+-x%5E2-y%5E2%2Bxy%5E2-5x-6y%2B42