(x + iy)^2 = a + ib.
x^2 + 2ixy - y^2 = a + ib | Realteil und Imaginärteil trennen.
x^2 - y^2 = a (I)
2xy = b (II)
--------------------------
Nun hast du ein Gleichungssystem mit 2 Unbekannten.
Benutze z.B. das Einsetzverfahren um es zu lösen. (Erst mal einfach so in der Annahme, dass z.B. x nicht 0 ist. Dann noch für den Fall, dass x= 0 aber y ≠ 0. x=y=0 ist als Spezielfall schnell mit a=b=0 zusammengebracht. Du solltest ausser im Fall a=b=0 jeweils mehr als eine Lösung finden).
Anmerkung: Nicht erschrecken, wenn die Lösung formal etwas kompliziert aussieht. Hier, was herauskommt, wenn a und b mit Beispielzahlen gefüllt werden.
https://www.wolframalpha.com/input/?i=x%5E2+-+y%5E2+%3D+7++,++2xy+%3D+17