Aloha :)
Willkommen in der Mathelounge... \o/
1) Randbedingungen ignorieren
Wir bestimmen zunächst alle Extrema der Funktion$$f(x;y)=xy(6-x-y)=6xy-x^2y-xy^2$$ohne auf den dreieckigen Definitionsbereich zu achten. Kandidaten für Extrema finden wir an den Stellen, an denen der Gradient verschwindet:$$\binom{0}{0}\stackrel!=\operatorname{grad}f(x;y)=\binom{6y-2xy-y^2}{6x-x^2-2xy}\implies\left\{\begin{array}{cc}2xy=6y-y^2 & (1)\\[1ex]2xy=6x-x^2 & (2)\end{array}\right.$$
Wir setzen zuerst die beiden rechten Seiten gleich und erhalten als Bedingung:$$(1)=(2)\implies y(6-y)=x(6-x)\implies\left\{\begin{array}{lc}y=x & (A)\\y=6-x & (B)\end{array}\right.$$
Diese beiden Bedingungen setzen wir in eine der beiden Gleichungen ein:$$(A)\text{ in }(2)\implies2x^2=6x-x^2\implies3x^2-6x=0\implies3x(x-2)=0$$$$\phantom{(A)\text{ in }(2)}\implies x=0\;\lor\;x=2\implies K_1(0|0)\;;\;K_2(2|2)$$$$(B)\text{ in }(2)\implies2x(6-x)=6x-x^2\implies2x(6-x)=x(6-x)$$$$\phantom{(B)\text{ in }(2)}\implies x=0\;\lor\;x=6\implies K_3(0|6)\;;\;K_4(6|0)$$
Wir haben also 4 Kandidaten \(K\) für Extrema gefunden. Wir prüfen diese Kandidaten, indem wir zunächst die Hesse-Matrix der Funktion \(f\) bilden:$$H(x;y)=\left(\begin{array}{c}-2y & 6-2x-2y\\6-2x-2y & -2x\end{array}\right)$$und deren Definitheit für die 4 Kandidaten bestimmen:$$H(0;0)=\left(\begin{array}{c}0 & 6\\6 & 0\end{array}\right)\implies\text{Eigenwerte }\pm6\implies\text{kein Extremum}$$$$H(2;2)=\left(\begin{array}{c}-4 & -2\\-2 & -4\end{array}\right)\implies\text{Eigenwerte }-2\;;\;-6\implies\text{Maximum}\quad\checkmark$$$$H(0;6)=\left(\begin{array}{c}-12 & -6\\-6 & 0\end{array}\right)\implies\text{Eigenwerte }-6\pm6\sqrt2\implies\text{kein Extremum}$$$$H(6;0)=\left(\begin{array}{c}0 & -6\\-6 & -12\end{array}\right)\implies\text{Eigenwerte }-6\pm6\sqrt2\implies\text{kein Extremum}$$
Die Funktion \(f(x;y)\) hat also bei \((2;2)\) ein Maximum: \(\pink{f(2;2)=8}\)
Der Punkt \((2;2)\) liegt insbesondere in dem begrenzendem Dreieck.
2) Randextrema suchen
Mit den Mitteln der Differentialrechnung finden wir Extrema nur über offenen Mengen. Es kann daher noch Extrema auf dem Rand des Definitionsbereiches geben. Dazu untersuchen wir die Extrema der Funktion \(f\) unter den 3 konstanten Randbedingungen:$$g_1(x;y)=x=0\quad;\quad g_2(x;y)=y=0\quad;\quad g_3(x;y)=x+y=8$$
Nach Lagrange muss bei einem Extremum der Gradient der zu optimierenden Funktion kollinear zum Gradienten der Nebenbedingung sein. Wir rechnen die 3 Ränder durch.
1. Fall: \(x=0\)$$\operatorname{grad}f(x;y)=\lambda\cdot\operatorname{grad}g_1(x;y)\implies\binom{6y-2xy-y^2}{6x-x^2-2xy}=\lambda\binom{1}{0}$$$$\implies6x-x^2-2xy=0\implies x(6-x-2y)=0\implies x=0\;\lor\; y=3-\frac x2$$$$\implies \blue{K_5(0|3)}$$
2. Fall: \(y=0\)$$\operatorname{grad}f(x;y)=\lambda\cdot\operatorname{grad}g_2(x;y)\implies\binom{6y-2xy-y^2}{6x-x^2-2xy}=\lambda\binom{0}{1}$$$$\implies6y-2xy-y^2=0\implies y(6-2x-y)=0\implies y=0\;\lor\; x=3-\frac y2$$$$\implies \blue{K_6(3|0)}$$
3. Fall: \(x+y=8\)$$\operatorname{grad}f(x;y)=\lambda\cdot\operatorname{grad}g_3(x;y)\implies\binom{6y-2xy-y^2}{6x-x^2-2xy}=\lambda\binom{1}{1}$$$$\implies6y-2xy-y^2=6x-x^2-2xy\implies y(6-y)=x(6-x)$$$$\implies x=y\;\lor\; y=6-x\implies x=y\;\lor\;x+y=6\stackrel{x+y=8}{\implies}x=y=4$$$$\implies\blue{K_7(4|4)}$$
Wir haben auf dem Rand des Definitionsbereichs (Dreieck) also noch 3 weiter Kandidaten für Extrema gefunden.
Da wir nur die absoluten Extrema angegeben sollen, brauchen wir die blauen Kandidaten gar nicht zu prüfen, ob es tatsächlich Extrema sind. Stattdessen berechnen wir die Funktionswerte:$$\pink{f(2;2)=8}\quad\mapsto\text{absolutes Maximum}$$$$\blue{g(0;3)=0}$$$$\blue{g(3;0)=0}$$$$\blue{g(4;4)=-32}\quad\mapsto\text{absolutes Minimum}$$