2·a·b - b - 1 = 0 --> b = 1/(2·a - 1)
Nun einsetzen
a^2 - b^2 - a - 1/4 = 0
a^2 - 1/(2·a - 1)^2 - a - 1/4 = 0
(16·a^4 - 32·a^3 + 16·a^2 - 5) / (4·(2·a - 1)^2) = 0
Nun den Zähler gleich 0 setzen.
16·a^4 - 32·a^3 + 16·a^2 - 5 = 0
a = 1/2 - √(√5/4 + 1/4) ∨ a = 1/2 + √(√5/4 + 1/4)
a = -0.3994537199 ∨ a = 1.399453719
Damit kann man noch b ausrechnen.
PS Es handelt sich hier nicht um ein LGS (lineares Gleichungs-System), weil dort die Variablen nur in der 1-Potenz auftreten dürfen.