Aloha :)
Deine Überlegungen sind völlig korrekt. Die erste Ableitung ist:
$$f'(x)=3x^2-20x+35$$
Diese musst du gleich \(0\) setzen:
$$\left.3x^2-20x+35=0\quad\right|\;:3$$$$\left.x^2-\frac{20}{3}x+\frac{35}{3}=0\right.$$Jetzt hilft die pq-Formel:
$$x_{1,2}=\frac{20}{6}\pm\sqrt{\left(\frac{20}{6}\right)^2-\frac{35}{3}}=\frac{10}{3}\pm\sqrt{\frac{100}{9}-\frac{105}{9}}=\frac{10}{3}\pm\sqrt{-\frac{5}{9}}$$
Jetzt ist klar, warum dein Rechner "error" meldet. Die Wurzel aus einer negativen Zahl ist innerhalb der reellen Zahlen \(\mathbb{R}\) nicht definiert. Mit anderen Worten, die Funktion hat kein lokales Minimum. Das heißt, als Extrema kommen nur noch die Ränder des Definitionsbereichs infrage. Ich nehme mal an, dass \(x\ge0\) sein muss. Dann liegt das Minimum bei \(x=0\).
Hast du die Funktion richtig angegeben oder hast du dich vielleicht vertippt?
~plot~ x^3 - 10x^2 + 35x +18; [[0|8|0|100]] ~plot~
