in der dritten Zeile kürzt du alle Terme mit xa und xb, obwohl da noch der Vorfaktor 2 steht.
Hier meine Lösung:
(x-a)^2+(x-b)^2-(x-a)*(x-b)=x^2+a^2+b^2
x^2-2xa+a^2+x^2-2xb+b^2-[x^2-xb-xa+ab]=x^2+a^2+b^2 die Terme auf der rechten Seite wegkürzen
-2xa+x^2-2xb-x^2+xb+xa-ab=0 auf der linken Seite Terme zusammenfassen
-xa-xb-ab=0 mit -1 multiplizieren
xa+xb+ab=0
(a+b)x+ab=0
(a+b)x=-ab
x=-ab/(a+b)