umfangreiche Aufgabe hast du da.
Für das Volumen eines Kegels mit Kreisgrundfläche gilt
$$V= \frac{1}{3} \pi r^2 h \quad (1) \ ,$$
wobei r der Radius der Grundfläche und h der Höhe des Kegels entspricht.
Ich hoffe, du konntest dir die Aufgabenstellung bildlich klar machen. Wenn wir von unserem gleichschenkligen Dreieck ausgehen, bezeichnen wir mit b die Grundseite und die Schenkel mit a. Laut Aufgabentext gilt
$$U = a+a+b = 2a+b = 10 \quad (2) \ .$$
Für die Höhe h erhalten wir mittels Pythagoras:
$$a^2 = h^2 + (b/2)^2 \quad \Rightarrow \quad h = \sqrt{ a^2 - (b/2)^2} \quad (3) \ .$$
Da das Dreieck um die Höhe als Achse rotiert, gilt für Radius r der dadurch erzeugten Kreisgrundfläche:
$$ r = b/2 \quad (4) \ . $$
Einsetzen von (3) und (4) in (1) liefert:
$$ V = \frac{1}{3} \pi \frac{b^2}{4} \cdot \sqrt{a^2 - \left( \frac{b}{2} \right)^2 } \quad (5) \ .$$
An dieser Stelle ist das Volumen noch von a und b abhängig. Um die Abhängigkeit auf b zu reduzieren, formen wir Gleichung (2) nach a um um setzen das Ergebnis in (5) ein:
$$ 2a+b = 10 \quad \Rightarrow \quad a = 5 - \frac{b}{2} \ . $$
$$ \Rightarrow \quad V = \frac{ \pi }{12} b^2 \cdot \sqrt{ \left( 5- \frac{b}{2} \right)^2 - \left( \frac{b}{2} \right)^2 } $$
$$ = \frac{ \pi }{12} b^2 \cdot \sqrt{ 25 - 5b + \left( \frac{b}{2} \right)^2 - \left( \frac{b}{2} \right)^2 } $$
$$ = \frac{ \pi }{12} b^2 \cdot \sqrt{ 25 - 5b } \quad (6) $$
Nun haben wir eine Formel für das Volumen, welche nur von b abhängt. In der Aufgabe geht es darum, dass das Volumen maximal werden soll. Darum musst du das Volumen V(b) nach b ableiten und gleich 0 setzen:
$$ V'(b) = - \frac{5 \pi (b-4) b}{24 \cdot \sqrt{ 1 - \frac{b}{5} } } = 0 \ . $$
Damit dieser Bruch, beziehungsweise damit generell ein Bruch gleich 0 ist, muss der Zähler gleich 0 sein. Dadurch vereinfacht sich unsere Rechnung auf:
$$ 5 \pi (b-4) b = 0 \ . $$
Man sieht, dass diese Gleichung die Lösungen b=4 und b=0 hat. Allerdings macht die Lösung b=0 keinen Sinn, da die Grundseite des Dreiecks ja nicht 0cm lang sein kann. An dieser Stelle hast du bereits die Lösung, wie sie auch gegeben war. Um das ganze jetzt noch sauberer zu machen, müsstest du noch die zweite Ableitung bilden, b=4 einsetzen und gucken, ob es sich tatsächlich um ein Maximum handelt.