Aloha :)
Deine Idee für die Substitution \(x=\sin(u)\) ist gut:
$$I=\int\frac{x^2}{2\sqrt{1-x^2}}\,dx=\int\frac{\sin^2(u)}{2\sqrt{1-\sin^2(u)}}\,\frac{d(\sin(u))}{du}\,du=\frac12\int\frac{\sin^2(u)}{\cos(u)}\cdot\cos(u)\,du$$$$\phantom{I}=\frac12\int\pink{\sin^2(u)}\,du=\frac12\int\left(\pink{\frac12-\frac12\cos(2u)}\right)\,du=\frac14\left(u-\frac12\sin(2u)\right)+\text{const}$$
Für die Rücksubstitution betrachte noch:$$u\;\mapsto\;\arcsin(x)$$$$\sin(2u)=2\sin(u)\cos(u)=2\sin u\cdot\sqrt{1-\sin^2(u)}\;\mapsto\;2x\cdot\sqrt{1-x^2}$$
Damit lautet das Integral:$$I=\frac14\left(\arcsin(x)-x\sqrt{1-x^2}\right)+\text{const}$$