hier hilft eine Skizze einiges weiter!
das Volumen des Zylinders sollte klar sein:
$$ V(r,h) = \pi r^2h $$
Oje die Funktion ist ja von 2 Variablen abhängig, aber keine Sorge:
Für das konkrete Problem gilt die Beziehung (wie du schon geschrieben hast per Strahlensatz, wobei du einen Schreibfehler bei dir drin hast)
$$NB: \frac{h}{H} = \frac{R-r}{R} $$
NB bedeutet hierbei Nebenbedingung. Diese kannst du nun nach \(h\) auflösen und in die Formel für den Zylinder einsetzen. Du kriegst eine Volumenfunktion, die nur noch vom Radius des Zylinders \(r\) abhängig ist. Die Höhe \(H\) und der Radius \(R\) des Kegels sind ja gegeben. Damit kriegst du die Funktion für die Aufgabe 1.
Zu 2):
Da die Funktion nun nur noch von einer Variablen abhängig ist, kannst du ganz normal mittels der dir bekannten Differentialrechnung \(r \in (0,R) \) bestimmen, bei dem \(V\) maximal wird. Die entsprechende Höhe \(h\) für das maximale Volumen sollte danach auch kein Problem mehr sein.
Gruß