Die binomische Formel lautet ja
(a + b)2 = a2 + 2·a·b + b2
Fall 1, wenn beide Quadrate gegeben sind, hast du soweit scheinbar verstanden.
Anders du hast das Quadrat und den gemischten Term gegeben also
a2 = 4·x2·y2 --> a = 2·x·y
2·a·b = 36
b = 36 / (2·a) = 36 / (2·2·x·y) = 9 / (x·y)
Damit kannst du dann jetzt die binomische Formel aufstellen.
Jetzt probierst du noch
a2 = 36
2·a·b = 4·x2·y2
und löst das auch entsprechend nach a und b wie gemacht auf.