Hallo Kai,
ich halte es für ungeschickt, direkt WolframAlpha auf das Problem in der vorliegenden Form loszulassen. Es lohnt sich im Gegenteil sehr, zuerst ein paar einfache vorbereitende Überlegungen und Substitutionen auszuführen. Das kann man ganz leicht von Hand tun.
Führt man zum Beispiel zuerst die Abkürzungen (Substitutionen)
$$\qquad C:=\ \frac{V}{\pi}\qquad \qquad D:=\ \frac{O}{2\,\pi} $$
ein, so erhält man das Gleichungssystem
$$\qquad r^2\cdot h\ =\ C\ \ \wedge\ \ r^2+r\cdot h\ =\ D $$
Durch Elimination von h folgt daraus die kubische Gleichung
$$\qquad r^3-D\cdot r+C\ =\ 0 $$
für den gesuchten Radius r. Nun kann man immer noch Wolfram einschalten und erhält als Ergebnis die Lösung(en) nach Cardanischen Formeln.
Nun muss man die in Frage kommende(n) (reelle(n)) Lösung(en) auswählen. In diese kann man dann anstelle von C und D deren definierende Terme in V und O einsetzen.
Der große Vorteil dieses Weges: man muss sich nicht mit den komplizierten Formeln mit so vielen π's und unhandlichen Faktoren herumschlagen !