$$A=\begin{pmatrix} 1 & 0&1 \\ 1 & 1&0 \end{pmatrix} B=\begin{pmatrix} 5 & -1 \\ 2 & 1\\ 1 & 0 \end{pmatrix}$$
$$A^t=\begin{pmatrix} 1 & 1 \\ 0 & 1\\ 1 & 0 \end{pmatrix} B^t=\begin{pmatrix} 5 & 2&1 \\ -1 & 1&0 \end{pmatrix}$$
Also für B^t * A^t erst mal:
Für das 1. Element der 1. Zeile:
1. Zeile von B^t * 1.Spalte von A^t = (1 1 ) * (5 -1 ) = 1*5+ 1*(-1) = 4
Für das 2. Element der 1. Zeile:
1. Zeile von B^t * 2.Spalte von A^t = (1 1 ) * ( 2 1 ) = 1*2 + 1*1 = 3
Für das 3. Element der 1. Zeile:
1. Zeile von B^t * 3.Spalte von A^t = (1 1 ) * (1 0 ) = 1*1 + 1*0 = 1
Also ist die erste Zeile des Produktes
4 3 1
Die 2. und 3. Zeile des Produktes entsprechend
mit der 2. und 3. Zeile von A^t.
Das gibt dann eine 3x3 Matrix.