Der Fehler ist schon gleich in der zweiten Zeile. Es fehlt nämlich die Klammer, die dann in der vierten Zeile plötzlich auftaucht. Man hätte Zeile 2 und 3 überspringen können, wenn man direkt die binomische Formel benutzt.
\( \big(a^{2}+a b i+a b i+(b-i)^{2}\big) \cdot(a-b i) \)
Problem bei deiner Rechnung: es fehlt die rechte Seite. Hättest du sie mitgenommen, könntest du nach 0 auslösen und müsstest dann nur noch Realteil und Imaginärteil vergleichen. Das liefert die für die beiden Unbekannten \(a\) und \(b\) ein Gleichungssystem, was du lösen musst.
Der Ansatz von az0815 ist allerdings wesentlich komfortabler. Eine gute Rechenübung ist das aber trotzdem.