Die binomische Formel lautet ja
(a + b)^2 = a^2 + 2·a·b + b^2
Fall 1, wenn beide Quadrate gegeben sind, hast du soweit scheinbar verstanden.
Anders du hast das Quadrat und den gemischten Term gegeben also
a^2 = 4·x^2·y^2 --> a = 2·x·y
2·a·b = 36
b = 36 / (2·a) = 36 / (2·2·x·y) = 9 / (x·y)
Damit kannst du dann jetzt die binomische Formel aufstellen.
Jetzt probierst du noch
a^2 = 36
2·a·b = 4·x^2·y^2
und löst das auch entsprechend nach a und b wie gemacht auf.