Hi,
mit f(x,y,λ)=x3−y3+3λxy folgt
(1)fx(x,y,λ)=3x2+3λy
(2)fy(x,y,λ)=−3y2+3λx
(3)fλ(x,y,λ)=3xy
(4)fxx(x,y,λ)=6x
(5)fyy(x,y,λ)=−6y
(6)fxy(x,y,λ)=3λ
Die Hesse Matrix lautet also
Hf=(6x3λ3λ−6y)
Gleichungen (1) - (3) müssen Null gesetzt werden und nach x,y,λ aufgelöst werden. Das sind die lokalen Extremwerte. Die Lösungen sind in die Hessematrix einzusetzten und dann muss bestimmt werden ob ein Maximum oder Minimum vorliegt. Dazu bestimmt man die Definitheit der Matrix.
Bei Deiner Rechnung sind einige Fehler drin, wie Du siehst.