Aloha :)
Wir betrachten zuerst eine wichtige allgemeine Rechenregel für Matrizen.
Für \(A\in\mathbb K^{l\times m}\) und \(B\in\mathbb K^{m\times n}\) gilt \(AB\in\mathbb K^{l\times n}\) bzw. \((AB)^T\in\mathbb K^{n\times l}\). Wir betrachten das Element \((AB)^T_{ik}\) der transponierten Produktmatrix mit \(i=1,\ldots,n\) und \(k=1,\ldots,l\):$$(AB)^T_{ik}=(AB)_{ki}=\sum\limits_{j=1}^m a_{kj}b_{ji}=\sum\limits_{j=1}^m b_{ji}a_{kj}=\sum\limits_{j=1}^m (B^T)_{ij}(A^T)_{jk}=(B^TA^T)_{ik}$$Da diese Rechnung für alle Komponenten der transponierten Produktmatrix durchgeführt werden kann, gilt allgmeien:$$(AB)^T=B^TA^T$$
Mit diesem Wissen ist die Aufgabe übersichtlich lösbar:
Die Gruppe \(O(3)\) enthält alle reellen orthogonalen \(3\times3\)-Matrizen, d.h für \(S\in O(3)\) gilt: \(S^{-1}=S^T\). Da \(D\) eine reelle \(3\times3\) Diagonalmatrix ist, gilt auch \(D^T=D\).
Mit \((AB)^T=B^TA^T\) kannst du nun schreiben:
$$A^T=(SD^TS^T)^T=(S(D^TS^T))^T=(D^TS^T)^TS^T=(\,(S^T)^T(D^T)^T\,)S^T$$$$\phantom{A^T}=SDS^T\stackrel{(D^T=D)}{=}SD^TS^T=A$$
Die besondere Eigenschaft \(S^{-1}=S^T\) der Matrizen \(S\in O(3)\) haben wir gar nicht benötigt, d.h. die Symmetrie gilt für jede beliebige reelle \(3\times3\)-Matrix \(S\).