NB:
r^2 = h·(2·R - h) [Das gilt nach dem Höhensatz]
r^2 = 2·R·h - h^2
Hier hättest du schon etwas anderes heraus. Prüfe das mal. Erst dann weiter machen.
HB
V = 1/3·pi·r^2·h [Hier hättest du das pi vergessen oder]
V = 1/3·pi·(2·R·h - h^2)·h
V = 2/3·pi·h^2·R - 1/3·pi·h^3
V' = 4/3·pi·h·R - pi·h^2 = 0 --> h = 4/3·R (∨ h = 0)
Du hättest auf jeden Fall auch das gleiche Ergebnis.