Deine Gleichungen sind richtig
a + 1 + b = 0 und
b = -a - 1
Das setzen wir in die andere ein:
a^2 + 1^2 + b^2 = 6
a^2 + 1^2 + (-a - 1)^2 = 6
a^2 + 1^2 + a^2 + 2a + 1^2 = 6
2a^2 + 2a - 4 = 0
a^2 + a - 2 = 0
Das gibt mit der pq Formel die Lösungen
a1 = 1 und a2 = -2
Daraus ergibt sich
b1 = -1 - 1 = -2
b2 = -(-2) - 1 = 1
Die Vektoren lauten also
y1 = (1, 1, -2) und y2 = (-2, 1, 1)