Aloha :)
Du kannst die Funktion \(f(x)\) in eine Taylorreihe entwickeln:$$f(x\pm h)=f(x)\pm f'(x)\cdot h+\frac{1}{2}f''(x)\cdot h^2\pm O(h^3)$$
Das kannst du in den Differenzenquotienten einsetzen:
$$\phantom{=}\frac{f(x+h)-f(x)}{h}=\frac{\left[f(x)+f'(x)\,h+\frac{1}{2}f''(x)\,h^2+O(h^3)\right]-f(x)}{h}$$$$=\frac{f'(x)\,h+\frac{1}{2}f''(x)\,h^2+O(h^3)}{h}=f'(x)+\frac{1}{2}f''(x)\,h+O(h^2)=f'(x)+O(h)$$
Der Verfahrensfehler liegt hier also in der Größenordnung \(O(h)\).
Das ist auch der Grund, warum man die Ableitung numerisch meistens so berechnet:
$$\phantom{=}\frac{f(x+h)-f(x-h)}{h}$$$$=\frac{\left[f(x)+f'(x)\,h+\frac{1}{2}f''(x)\,h^2+O(h^3)\right]-\left[f(x)-f'(x)\,h+\frac{1}{2}f''(x)\,h^2-O(h^3)\right]}{h}$$$$=\frac{2f'(x)\,h+O(h^3)}{2h}=f'(x)+O(h^2)$$
Hier liegt der Verfahrensfehler in der Größenordnung \(O(h^2)\).