Ich gehe mal davon aus, dass \(\cdot\) einfach die übliche Multiplikation ist.
Assoziativität:
Für alle \(A,B,C\in U\) gilt, dass: \(\left(A\cdot B\right)\cdot C=A\cdot (B\cdot C)\). Da sich quadratische Matrizen addieren und multiplizieren lassen und überdies alle Assoziativ- und Distributivgesetze erfüllen, besitzt die Menge aller quadratischen Matrizen über einem Körper eine Ringstruktur. Und \(U\) ist offensichtlich eine Teilmenge der Menge aller quadratischen Matrizen.
Existenz neutraler Elemente:
Zu zeigen ist, dass es ein \(E\in U\) gibt, so dass für alle \(A\in U\) gilt, dass \(E\cdot A=E\). Kannst du dieses \(E\) explizit angeben? Tipp: Einheitsmatrix :P
Existenz inverser Elemente:
Zu zeigen: Zu jedem \(A\in U\) gibt es ein \(A^{-1}\in U\) mit \(A^{-1}\cdot A=E\). Da \(\det(A)=1\neq 0\), exisitiert \(A^{-1}\). Fraglich ist nur, ob diese auch in \(U\) leigt, denn es müsste ja \(\det A^{-1}=1\) gelten. Allerdings ist \(\det(A^{-1})=(\det(A))^{-1}\). Das macht aber genau in diesem Fall keinen Unterschied, denn \(1^{-1}=1\). Glück gehabt. Damit ist die Existenz eines solchen Elements immer gesichert und es gilt sogar \(A^{-1}\in U\).
Zusatz: Die Gruppe ist aber nicht abelsch, denn Matrizenmultiplikation ist nicht kommutativ!
Zur Abgeschlossenheit: Was passiert denn, wenn man zwei Matrizen aus \(U\) multipliziert? Das Produkt zweier unterer Dreiecksmatrizen sollte immer noch eine untere Dreiecksmatrix sein.