Du sollst nicht die Ableitung einsetzen. Du möchtest doch erst dadurch die Ableitung bestimmen.
f'(x) = lim (h → 0) (f(x + h) - f(x)) / h
f'(x) = lim (h → 0) (0.5·(x + h)^2 - (x + h) + 3 - (0.5·x^2 - x + 3)) / h
f'(x) = lim (h → 0) (0.5·(x^2 + 2·x·h + h^2) - x - h + 3 - 0.5·x^2 + x - 3) / h
f'(x) = lim (h → 0) (0.5·x^2 + x·h + 0.5·h^2 - x - h + 3 - 0.5·x^2 + x - 3) / h
f'(x) = lim (h → 0) (x·h + 0.5·h^2 - h) / h
f'(x) = lim (h → 0) x + 0.5·h - 1 → x - 1