Vermutlich meinst du
$$g: x \mapsto \begin{cases} \begin{array}{ll}x^2\cos\left(\frac1x\right)&\text{, falls }x\neq0\\0&\text{, falls }x=0.\end{array} \end{cases}$$
Die Funktion \(g\) ist offensichtlich differenzierbar für \(x\neq0\). Für \(x=0\) betrachte den Differenzenquotienten
$$\frac{g(0+h)-g(0)}h=\frac{h^2\cos\left(\frac1h\right)-0}h=h\cos\left(\frac1h\right).$$Wegen \(\lim\limits_{h\to0}h\cos\left(\frac1h\right)=0\), ist \(g\) auch differenzierbar in \(x=0\) und es gilt
$$g'(x)= \begin{cases} \begin{array}{ll}2x\cos\left(\frac1x\right)+\sin\left(\frac1x\right)&\text{, falls }x\neq0\\0&\text{, falls }x=0.\end{array} \end{cases}$$
Beachte, dass \(g'\) in \(x=0\) nicht stetig ist.