Aloha :)
Dein Ansatz ist fast richtig.
Die Seitenlänge des alten Quadrates nennen wir \(a\), seine Fläche ist dann \(F_{\text{alt}}=a^2\).
Nun werden die Seiten um \(3\,\mathrm{cm}\) bzw. \(5\,\mathrm{cm}\) gekürzt.
Die neue Fläche ist dann \(F_{\text{neu}}=(a-3)(a-5)\)
Diese neue Fläche ist um \(113\,\mathrm{cm}^2\) kleiner als die alte: \(F_{\text{neu}}=F_{\text{alt}}-113=a^2-113\)
Die Gleichung lautet also:
$$(a-3)(a-5)=a^2-113\quad\big|\text{links ausmultiplizieren}$$$$a^2-8a+15=a^2-113\quad\big|-a^2$$$$-8a+15=-113\quad\big|\cdot(-1)$$$$8a-15=113\quad\big|+15$$$$8a=128\quad\big|\div8$$$$a=16$$
Das ursprüngliche Quadrat hatte die Seitenlänge \(16\,\mathrm{cm}\) und den Flächeninhalt \(256\,\mathrm{cm}^2\).