Dann wählst Du am besten folgenden Ansatz:
1. Formel für die Flächenberechnung aufstellen:
Q = c^2; //Fläche für das einbeschriebene Quadrat
c^2 = b^2 + (a-b)^2; //aus Pythagoras
Q = b^2 + (a-b)^2;
2. Bestimmung der minimalen Fläche:
Zur Bestimmung von Minima eignet sich die Ableitung einer Funktion.
Gesucht ist der Wert von b für den die Fläche Q minimal wird, damit muss Q'(b) = 0 sein.
Q'(b) = 4b - 2a = 0; //Q nach b ableiten und 0 setzen
b = a/2;
3. Ergebnis:
Wenn die Ecken des einbeschriebenen Quadrats auf den Mitten der Seiten a des äußeren Dreiecks liegen, dann ist die Fläche Q minimal.