Hallo,
ich betrachte also
$$g:\bar{U} \to \R, \quad g(x):=\|f(x)\|^2=\langle f(x),f(x)\rangle$$
(Das Quadrieren ändert nichts am Problem.) Wenn g stetig ist, dann besitzt g auf dem Kompaktum \(\bar{U}\) ein Maximum, sagen wir bei x=a. Wir zeigen: a liegt nicht in U.
Wenn bei \(a \in U\) eine Maximum von g läge, dann müsste für jede Richtung v gelten:
$$\phi'(0)=0 \text{ für } \phi(t)=g(a+tv)$$
Nach den Rechenregeln für das Differenzieren ist
$$\phi'(0)=\langle f'(a)v,f(a)\rangle + \langle f(a),f'(a)v\rangle$$
Für \(v:=(f'(a))^{-1}f(a)\) erhalten wir aber einen positiven Wert für \(\phi'(0)\).
(f(a)=0 kann nicht sein, weil sonst a eine Minimum von g wäre.)
Gruß Mathhilf