Bei dir geht eingies durcheinander. Du hast z.B. die Integrationsvariable \(x\) durch \(u\) ersetzt, aber die Integrationsgrenzen beziehen sich noch auf \(x\).
Deine Substitution ist korrekt:$$u(x)\coloneqq1+2\cos(x)\implies \frac{du}{dx}=-2\sin(x)\implies dx=\frac{du}{-2\sin(x)}$$$$u(0)=1+2\cos(0)=3\quad;\quad u(\pi/3)=1+2\cdot\frac12=2$$
Die Substitution ist nun ein einzelner Schritt:$$I=\int\limits_0^{\pi/3}\frac{\sin(x)}{\sqrt{1+2\cos(x))}}\,dx=\int\limits_3^2\frac{\sin(x)}{\sqrt{u}}\,\frac{du}{-2\sin(x)}=-\frac12\int\limits_3^2\frac{du}{\sqrt u}$$
Das hast du bis auf die falschen Integrationsgrenzen richtig gemacht. Dein Fehler passiert beim Integrieren. Dabei wird durch den inkrementierten Exponenten dividiert:$$I=-\frac12\int\limits_3^2 u^{-\frac12}\,du=-\frac12\left[\frac{u^{\pink{\frac12}}}{\pink{\frac12}}\right]_3^2=\left[-\sqrt u\right]_3^2=\sqrt3-\sqrt2$$
Du hast dich beim einfachsten Schritt in der Rechnung vertan.