Auch, wenn die Frage schon ein paar Jahre alt ist, beantworte ich sie mal.
Vorab sei nochmal gesagt, dass y = x2 ist und ich nur der Einfach-heit her y nehme. der Vektor x ist dementsprechend (x1 /x2 /x3 ) = (x / y / z) (spaltenweise dargestellt, nicht zeilenweise).
y kann ja alles sein. Nachdem du A mit dem Vektor x multipliziert hast und es ein Fixpunkt ist hast du für y dann da stehen :
0*x + y + 0*z = y für den Fixpunkt muss der Term = 0 ergeben, also nimmst du die Gleichung -y
daraus folgt 0x + 0y +0z = 0 deshalb kannst du jetzt überall das y bzw. x2 ignorieren.
übrig bleibt die dritte Gleichung, also -4/5*x + (-2/5)*z = 0
jetzt z isolieren und auflösen.
am Ende kommst du dann auf 2x + z = 0 und hast somit bewiesen, dass dies die Fixpunkte enthält.