dein Ansatz ist richtig, man kann das dann auch so schreiben:
x*y=60
3x-3=y. nun diese Gleichung oben einsetzen
x(3x-3)=60
3x2 -3x=60. geteilt durch 3
x2 -x=20. nun quadratisch ergänzen
(x-0.5)2 = 20,25. nun die Wurzel ziehen
Lösungen für x sind dann 5 und -4
y sind dann 12. und - 15
Nun noch eine Probe durchführen.
5*12=60 stimmt
(-4)*(-15)=60 stimmt auch