a) Nein, das hast du nicht richtig verstanden oder du hast nicht richtig gerechnet. Was kommt denn raus, wenn du die Matrizen multiplizierst und wie ist dann die Spur davon?
Dass im Allgemeinen \(AB \neq BA\) gilt, spielt keine Rolle, das es ja um die Spur geht. Außerdem geht es um \(AB^T\). Weiterhin gilt (AB^T)^T=BA^T\) das heißt die Matrizen sind bei der Symmetrie des Skalarproduktes nur transponiert. Was heißt das dann für die Spur?
Rechne also die Eigenschaften für ein Skalarprodukt mit der obigen Definition einfach mal gewissenhaft nach.
b) Der Orthogonalraum besteht nicht einfach aus irgendeiner orthogonalen Matrix, sondern das sind alle Matrizen, so dass deren Skalarprodukt nach obiger Definition 0 ergibt. Deine Matrix ist nur eine davon. Auch die Vielfache davon. Es gibt aber auch noch weitere Matrizen, die das erfüllen. Das kann man nachrechnen, indem man sich eine allgemeine Matrix mit den Einträgen \(a, b, c, d\) schnappt und überlegt, was dann gelten muss.
c) Schaue nach, wie eine Norm über das Skalarprodukt definiert ist. Es ist eine Definition. Wenn man sowas nicht weiß, schlägt man das nach. Zum Zusammenhang zwischen Matrixnorm und Vektornorm: induzierte Matrixnorm oder natürlich Matrixnorm. Lies da mal nach.