Aloha :)
Willkommen in der Mathelounge... \o/
In der Vorstellung ist \(\sqrt i\) sofort klar. In der Gauß'schen Zahlenebene liegt die imaginäre Einheit bei \(\binom{0}{1}\). Beim Ziehen der Wurzel, bleibt der Betrag erhalten. denn \(\sqrt 1=1\). Allerdings wird der Winkel von \(90^\circ\) um die Hälfte auf \(45^\circ\) zurück gedreht. Daher sollte gelten:$$\sqrt i=\frac{1+i}{\sqrt2}$$Wir prüfen das kurz nach:$$\left(\frac{1+i}{\sqrt2}\right)^2=\frac{1+2i+i^2}{2}=\frac{1+2i-1}{2}=\frac{2i}{2}=i\quad\checkmark$$Damit gehen wir in die Umformung:
$$\phantom{=}\frac{(5+\sqrt{3i})(5-\sqrt{3i})}{2+\sqrt{3i}}=\frac{(25-3i)(2-\sqrt{3i})}{(2+\sqrt{3i})(2-\sqrt{3i})}=\frac{(25-3i)(2-\sqrt{3i})}{4-3i}$$$$=\frac{(4+3i)(25-3i)(2-\sqrt{3i})}{(4+3i)(4-3i)}=\frac{(100+75i-12i-9i^2)(2-\sqrt{3i})}{4^2-(9i^2)}$$$$=\frac{(109+63i)(2-\sqrt{3i})}{25}=\frac{(109+63i)(2-\sqrt3\cdot\frac{1+i}{\sqrt2})}{25}$$$$=\frac{(109+63i)\left(\left(2-\sqrt{\frac32}\right)-\sqrt{\frac32}\,i\right)}{25}$$$$=\frac{109\left(2-\sqrt{\frac32}\right)+63\left(2-\sqrt{\frac32}\right)i-109\sqrt{\frac32}\,i-63\sqrt{\frac32}\,i^2}{25}$$$$=\frac{\left(218-46\sqrt{\frac32}\right)+\left(126-172\sqrt{\frac32}\right)i}{25}$$$$=\frac{218-46\sqrt{\frac32}}{25}+\frac{126-172\sqrt{\frac32}}{25}\cdot i$$