Die Hauptbedingung sollte klar sein, das Zimmer soll ja möglichst groß werden.
Daher HB: A=b*h
Bei der Nebenbedinung bin ich auch überfragt, ich vermute √H²+B² = eine Schenkellänge. Per Sinus und co. kann man winkel berechnen in den kleinen Dreiecken mit jeweils einem rechten WInkel. So kannst du auch auf h stoßen und einsetzen in die HB.
Hoffentlich ist das nicht allzu falsch, schreibe es deshalb nur mal als Kommentar.
Gruß Luis