2/3·x - 3 - 20/x^2 = 0
2/3·x^3 - 3·x^2 - 20 = 0
Dieses ist eine kubische Gleichung. Die Lösung kann man über ein Näherungsverfahren (z.B. Newtonverfahren) oder direkt über Rechnereinsatz ermitteln.
Ich bekomme über den Rechner ein Ergebnis von x = 5.494
Es sieht also so aus als habe sich euer Lehrer bei der Angabe der Lösung etwas vertan.
Aber damit k'(x) = 2/3·x - 3 - 20/x^2 wäre, müsste die Kostenfunktion K(x) = 1/3·x^3 - 3·x^2 + 20 sein. Wenn man sich deren Verlauf allerdings ansieht merkt man auch das dies gar keine gültige Kostenfunktion ist. Also es gibt hier mehrere Ungereimtheiten. Das ist allerdings nicht so wichtig, denn das Prinzip sollte damit klar sein.