Aus 2) folgt a=-b oder x=0.
x=0 fällt weg, da die gegebenen Vektoren dann linear abhängig sind.
1) 2xa+x^2 b=0. |:x
-2b+bx=0
b(-2+x)=0
x=2
Für x=2 sind die Vektoren linear abhängig.
Deine Lösungen mit der pq-Formel kann ich nicht nachvollziehen.
Mit dem Ansatz v=rw erhält man r=1 und dann ebenfalls x=2.