Vergiss mal die Substitution, sie ist hier weder notwendig noch sinnvoll und macht nur unnötig viel Arbeit! Vereinfache zunächst die erste Gleichung (das fehlende Rechenzeichen habe ich als Minus angenommen, da es sonst keine Lösungen gibt) und du erhältst
$$ \sqrt{x} + 11\cdot\sqrt{y} - \sqrt{z} = 4 \\ \sqrt{x} \quad\,\,\,\,\,-\sqrt{y} + \sqrt{z} = 6 \\ \sqrt{x} \quad\,\,\,\,\,-\sqrt{y} - \sqrt{z} = -8 $$Subtrahierst Du nun die dritte Gleichung von den beiden ersten, ergibt sich sofort \(\sqrt{y}=1\) und \(\sqrt{z}=7\). Dies wieder eingesetzt in die dritte Gleichung ergibt \(\sqrt{x}=0\). Zum Schluss muss noch quadriert werden und das System ist gelöst!