Grundsätzlich ist es beim Berechnen von Mehrfach-Integralen mittels Transformation günstig, sich eine Form der Transformationsregel zu merken, die einem am besten passt.
Mit deinen Bezeichnungen via Jacobi-Matrix könnte das zum Beispiel die folgende sein:
$$\int_{\mathcal B}f(x,y)\; d(x,y) = \int_{\mathcal B^{\star}}f(x(u,v),y(u,v)) \left|\det J_{\Psi}(u,v) \right|\; d(u,v)$$
Übrigens musst du die Determinante innerhalb der Betragsstriche schreiben. Also
$$\color{red}{\text{falsch: } \det \left| J_{\Psi}\right|} \quad \color{green}{\text{richtig: }\left|\det J_{\Psi}\right|}$$
Nun nur noch einsetzen:
$$x+y = u,\; x-y = v$$
$$\int_{\mathcal B}\left( \frac{x-y}{x+y-2} \right)^2\; d(x,y) = \int_{\mathcal B^{\star}}\left( \frac{v}{u-2} \right)^2 \cdot \left|-\frac 12 \right|\; d(u,v)$$
$$\frac 12 \int_{u=-1}^1\int_{v=-1}^1\frac{v^2}{(u-2)^2}dvdu = \frac 12 \left(\int_{u=-1}^1\frac 1{(u-2)^2}du \right) \left(\int_{v=-1}^1v^2dv \right)$$
$$= \frac 12 \cdot \frac 49 = \frac 29$$
Berechnung des Doppelintegrals ist hier.