(1) Gesucht ist diejenige Kathete \(x\), die die schraffierte Fläche
$$A(x,H) = \dfrac 12\cdot x \cdot H \quad\text{mit}\quad a<x, \quad b<h$$minimiert.
(2) Der zweite Strahlensatz liefert die Nebenbedingung
$$H = \dfrac{bx}{x-a}$$
(3) Das setzen wir zusammen zur Haupbedingung
$$A(x) = \dfrac b2\cdot \dfrac{x^2}{x-a} \quad\text{mit}\quad a<x$$
(4) Diese leiten wir ab zu
$$A'(x) = \dfrac b2\cdot \dfrac{2x\cdot(x-a)-x^2}{(x-a)^2} \quad\text{mit}\quad a<x \\[20pt] \phantom{A'(x)} = \dfrac b2\cdot \dfrac{x\cdot(x-2a)}{(x-a)^2}$$
(5) Offensichtlich ist \(x=2a\) die einzige Nullstelle der Ableitung. Da die Fläche \(A(x)\) an den Rändern ihres Definitionsbereichs beliebig groß wird, muss sie bei \(x=2a\) ihr absolutes Minimum annehmen.
(6) Damit ist \(x=2a\) die gesuchte Kathete und es folgt noch \(H=2b\) als die andere Kathete und \(A=2ab\) für die Fläche.
Schluss: Die Aufgabe ist offenbar die achte aus einer wohl umfangreicheren Klausur. Ein großer Bearbeitungsaufwand oder eine komplizierte Rechnung sind also wohl nicht zu erwarten. Eigentlich lässt sich die Aufgabe auch im Kopf lösen, was aber in einer Klausur eher nicht angesagt ist.
Ich habe meine Rechnung in kleinen, fast elementaren Schritten notiert und dabei nur die Bezeichnungen und Zusammenhänge verwendet, die die Aufgabenstellung vorgegeben hat und nichts vorausgesetzt, was erst am Ende der Rechnung gefolgert werden kann.