Aloha :)
Du musst prüfen, ob alle Eigenschaften eines Skalarproduktes erfüllt sind. Seien im Folgenden alle Großbuchstaben Matrizen in \(\mathbb R^{n\times n}\) und alle griechischen Buchstaben Konstanten aus \(\mathbb R\).
(1) Linearität in der ersten Komponente$$(A+B;C)=\operatorname{tr}((A+B)C^T)=\operatorname{tr}(AC^T+BC^T)=\operatorname{tr}(AC^T)+\operatorname{tr}(BC^T)$$$$\phantom{(A+B;C)}=(A;C)+(B;C)\quad\checkmark$$$$(\alpha A;B)=\operatorname{tr}((\alpha A)B^T)=\operatorname{tr}(\alpha(AB^T))=\alpha\operatorname{tr}(AB^T)=\alpha(A;B)\quad\checkmark$$
(2) Symmetrie$$(A;B)=\operatorname{tr}(AB^T)=\operatorname{tr}\left((AB^T)^T\right)=\operatorname{tr}\left((B^T)^TA^T\right)=\operatorname{tr}(BA^T)=(B;A)\quad\checkmark$$
(3) Linearität in der zweiten Komponente ist klar, wegen (1) und (2).
(4) Positive Definitheit:$$(A;A)=\operatorname{tr}(AA^T)=\sum\limits_{i=1}^n(AA^T)_{ii}=\sum\limits_{i=1}^n\sum\limits_{k=1}^n A_{ik}(A^T)_{ki}=\sum\limits_{i=1}^n\sum\limits_{k=1}^n A_{ik}A_{ik}$$$$\phantom{(A;A)}=\sum\limits_{i=1}^n\sum\limits_{k=1}^n A_{ik}^2\ge0\quad\checkmark$$Insbesondere ist \((A;A)=0\), genau dann wenn alle Komponenten \(A_{ik}=0\) sind.