Bei solchen Aufgaben musst du immer erstmal eine Variable für eine der gesuchten Größen verwenden. Dann kannst du eine Gleichung aufstellen und sie mit Äquivalenzumformungen lösen.
a) Nennen wir die kleinere Zahl x, dann ist die größere Zahl x+12. Die Summe ihrer Quadrate soll 794 ergeben, also soll gelten:
x2+(x+12)2 = 794
x2 + x2 + 24x +144 = 794 |:2
x2+12x + 72 = 397 |-36
x2+12x + 36 = 361
(x+6)2 = 192
x1/2+6 = ±19
x1/2 = -6±19
x1 = 13
x2 = -25
Lösungen sind also die Paare (13, 25) und (-25, -13).
b) Nennen wir die erste Zahl x, dann ist die zweite Zahl x+2. Außerdem wissen wir, dass am Ende eine gerade Zahl herauskommen muss. Nimmt man sie miteinander mal, soll das 168 ergeben, es soll also gelten:
x*(x+2) = 168
x2+2x = 168 |+1
x2+2x+1 = 169
(x+1)2 = 132
x1/2 + 1 = ±13
x1 = -1 + 13 = 12
x2 = -1 - 13 = -14
Die Lösungen sind also die Paare (12, 14) und (-14, -12).