Die rechte Grundseite des Dreiecks ist f1(u)-f2(u) und die Höhe des Dreiecks ist u-1, wie du schon gesagt hast.
Jetzt setzt man das alles in eine Formel für A(u) ein:
A(u) = 1/2*(f2(u)-f1(u))*(u-1) = 1/2*(-4u²+16u-12)*(u-1) = 2*(-u²+4u-3)*(u-1) = 2*(u-1)*(3-u)*(u-1) = -2*(u-3)*(u-1)²
Das leitet man nun nach der Produktregel ab und erhält:
A'(u) = -2*(u-1)² -4*(u-3)*(u-1)
Hier kann man einmal (u-1) ausklammern und erhält damit die (relativ offensichtliche) Lösung u=1: hier liegt natürlich ein Minimum des Flächeninhalts vor.
A'(u) = (u-1)*(-2*(u-1)-4*(u-3))
Für weitere Extremstellen ist also
0 = -2*(u-1)-4*(u-3)
zu fordern:
0 = -2u + 2 - 4u + 12
6u = 14
u = 14/6 = 7/3
Um zu überprüfen, ob es sich um ein Maximum handelt, reicht eine Plausibilitätsanalyse: wir wissen, dass A(u) wegen dem führenden Term -u³ für große u gegen Minus Unendlich geht. Wir wissen aber auch, dass A(u) bei u=1 ein Minimum hat, da dort gar kein Dreieck existiert. Also muss die Stelle u=7/3 ein Maximum sein.