Unter der Wurzel sollte stehen (korrigiert) "Zeile mal Matrix mal Spalte".
Matrix mal Spalte gibt Spalte. Bei Dir aber Matrix. Keine Ahnung, was Du da gerechnet hast.
Du solltest es in der ersten Zeile auch nicht einfach so schreiben, als wäre es das Standardskalarprodukt. Aus Deinen vorigen Fragen geht ja hervor, dass es hier um ein anderes SP geht.