x ist der Realteil von x-yi
x2-y2 ist der Realteil von (x+yi)2 (das ist, was du mit deiner Umformung ausgerechnet hast).
Laut Aufgabenstellung muss (x+yi)2 = x-yi sein. Insbesondere muss dann der Realteil der beiden Zahlen gleich sein.
Zu der anderen Gleichung kommt man, indem man den Imaginärteil betrachtet.