Aloha :)
Die Differenzierbarkeit der Funktion an der Stelle \(x=0\) hast du ja bereits gezeigt:$$\lim\limits_{x\searrow0}\frac{f(x)-f(0)}{x-0}=\lim\limits_{x\searrow0}\frac{x^2\cos(x)-0}{x}=\lim\limits_{x\searrow0}\left(x\cos(x)\right)=0$$$$\lim\limits_{x\nearrow0}\frac{f(x)-f(0)}{x-0}=\lim\limits_{x\nearrow0}\frac{0-0}{x}=\lim\limits_{x\nearrow0}0=0$$Der links- und der rechtsseitige Grenzwert des Differenzenquotienten sind identisch.\(\quad\checkmark\)
Die Ableitung der Funktion lautet daher:$$f'(x)=\left\{\begin{array}{c}2x\cos(x)-x^2\sin(x)&\text{für }x>0\\0 & \text{für }x\le 0\end{array}\right.$$
Damit die Funktion glatt ist, muss insbesondere die zweite Ableitung an der Stelle \(x=0\) existieren. Dazu prüfen wir wieder den links- und rechtsseitigen Grenzwert des Differenzenquotienten:$$\lim\limits_{x\searrow0}\frac{f'(x)-f'(0)}{x-0}=\lim\limits_{x\searrow0}\frac{2x\cos(x)-x^2\sin(x)}{x}=\lim\limits_{x\searrow0}\left(2\cos(x)-x\sin(x)\right)=2$$$$\lim\limits_{x\nearrow0}\frac{f'(x)-f'(0)}{x-0}=\lim\limits_{x\nearrow0}\frac{0-0}{x}=\lim\limits_{x\nearrow0}0=0$$
Die zweite Ableitung \(f''(0)\) exisitert also nicht, weil der links- und rechtsseitige Grenzwert des Differenzenquotienten verschieden sind.
Damit ist die Funktion nicht glatt.