Für eine Verkettung g o f mit f: A->B und g: C->D muss
$$ f(A) \subseteq C $$
gelten. D.h. das Bild von f muss im Definitionsbereich von g liegen. Das kannst du jetzt ja nachprüfen. Für deine Funktionen:
f o g. Naja das Bild von g ist [0,∞) (denn für x in [0,∞) ist x^2 ein Urbild) und das ist offenbar eine Teilmenge von IR, also ist diese Verkettung wohldefiniert.
g o f. Das Bild von f ist [0,∞) (Quadrate sind niemals negativ), und das ist ne Teilmenge vom Definitionsbereich von g. Also ist auch diese Verkettung wohldefiniert.
f o h ist auch wohldefiniert
h o f jedoch nicht. Das Bild von f ist [0,∞), die 0 liegt da also drin f(-1)=0, aber 0 ist nicht im Definitionsbereich von h:
$$ [0,\infty) \not\subseteq (0,\infty) $$
deshalb ist diese Komposition nicht wohldefiniert.