Nebenbedingung:
U = 2·a + 2·b --> b = 1/2·U - a
Hauptbedingung:
d^2 = a^2 + b^2
d^2 = a^2 + (1/2·U - a)^2
d^2 = 2·a^2 - U·a + 1/4·U^2
Wenn die Diagonale möglichst klein wird, wird auch das Quadrat möglichst klein. Daher kann man einfach das Quadrat untersuchen und braucht nicht die Wurzel ziehen.
(d^2)' = 4·a - U = 0 --> a = 1/4·U
In Nebenbedingung einsetzen
b = 1/2·U - a
b = 1/2·U - (1/4·U) = 1/4·U
Damit hat das Quadrat unter allen Rechtecken die kürzeste Diagonale.
Du solltest noch begründen warum das Extrema tatsächlich ein Minimum ist.