Das hängt davon ab, ob das X in deiner Gleichung ein Skalar (Zahl) oder aber eine Matrix ist. Um die Gleichung aufzulösen kannst du ausnutzen, dass für die Matrizenmultiplikation das Assoziativgesetz und das Distributivgesetz gelten.
Ist X ein Skalar dann hat man:
B * X * A - B^2=2B ~> B * X * A=2B+B^2 ~> X(A * B)=2B + B^2 ~> X=(2B + B^2)/ (A * B)
Ist X eine Matrix erhält man:
B * X =(2B + B^2) A^{-1} ~> X=B^{-1}(2B + B^2) A^{-1}
(Mit A^{-1} bzw. B^{-1} sind hier die inverse Matrizen von A und B bezeichnet. Beim auflösen habe ich erst von rechts mit A^{-1} und dann von links mit B^{-1} multipliziert.)
