Aloha :)
Im 1-dim. Fall ist eine Funktion differenzierbar an einer Stelle \(x_0\), wenn der Grenzwert$$f'(x_0)=\lim\limits_{x\to x_0}\frac{f(x)-f(x_0)}{x-x_0}$$existiert. Das kann man umschreiben zu:$$\lim\limits_{x\to x_0}\frac{f(x)-f(x_0)-f'(x_0)\cdot(x-x_0)}{x-x_0}=0$$und auf den mehrdimensionalen Fall übertragen:$$\lim\limits_{\vec x\to\vec x_0}\frac{\left\|\vec f(\vec x)-\vec f(\vec x_0)-\mathbf J(\vec x_0)\cdot(\vec x-\vec x_0)\right\|}{\left\|\vec x-\vec x_0\right\|}=0$$
Mit \(\vec h\coloneqq\vec x-\vec x_0\) wird daraus eure Definition:$$\lim\limits_{\vec h\to\vec 0}\frac{\left\|\vec f(\vec x_0+\vec h)-\vec f(\vec x_0)-\mathbf J(\vec x_0)\cdot\vec h\right\|}{\left\|\vec h\right\|}=0$$
Die Ableitung heißt nun "Jacobi-Matrix" \(\mathbf J\) und entält in Zeile 1 den Gradienten von \(f_1(\vec x_0)\), in Zeile 2 den Gradienten von \(f_2(\vec x_0)\) und so weiter.
Aus deinen Vorüberlegungen weiß du, dass die Richtungsableitung im Punkt \(\vec x_0=(0;0)\) gleich \((0;0)\) ist. Der Kandidat für die Jacobi-Matrix ist daher: \(\mathbf J(0;0)=\begin{pmatrix}0 & 0\end{pmatrix}\)
Damit lautet der zu untersuchende Grenzwert:$$\phantom=\lim\limits_{\vec h\to\vec 0}\frac{\left\|f(0+h_x\,;\,0+h_y)-\pink{f(0;0)}-\pink{\begin{pmatrix}0 & 0\end{pmatrix}\binom{h_x}{h_y}}\right\|}{\left\|\binom{h_x}{h_y}\right\|}=$$
Die pink markierten Summanden sind \(=0\), sodass weiter:$$=\lim\limits_{\vec h\to\vec 0}\frac{\left\|f(h_x;h_y)\right\|}{\left\|\binom{h_x}{h_y}\right\|}=\lim\limits_{\vec h\to\vec 0}\frac{\left\|\frac{h_xh_y(h_x^2-h_y^2)}{h_x^2+h_y^2}\right\|}{\sqrt{h_x^2+h_y^2}}=\lim\limits_{\vec h\to\vec 0}\left|\frac{h_xh_y(h_x^2-h_y^2)}{(h_x^2+h_y^2)^{3/2}}\right|$$
Zur Bildung des Grenzwertes gehen wir in eine Polardarstellung über:$$\binom{h_x}{h_y}=\binom{h\cos\varphi}{h\sin\varphi}\quad:\quad h\in[0;\infty)\;;\;\varphi\in[0;2\pi]$$
Den Grenzwert \(\vec h\to\vec 0\) erhalten wir durch Zusammenziehen des Radius \(h\to0\) auf Null:$$=\lim\limits_{h\to0}\left|\frac{(h\cos\varphi)(h\sin\varphi)(h^2\cos^2\varphi-h^2\sin^2\varphi)}{(h^2\cos^2\varphi+h^2\sin^2\varphi)^{3/2}}\right|=\lim\limits_{h\to0}\left|\frac{h^4\sin\varphi\cos\varphi(\cos^2\varphi-\sin^2\varphi)}{h^3}\right|$$$$=\left|h\cdot\frac12\sin(2\varphi)\cos(2\varphi)\right|=\left|h\cdot\frac14\sin(4\varphi)\right|=0$$
Damit ist die Funktion in \((0;0)\) differenzierbar.
