DET([1, 0, 3; 2, 1, 8; 2, -3, a]) = a = 0
Für a ungleich 0 ist die Matrix invertierbar
A^-1 = 1/a·[a + 24, -9, -3; 2·(8 - a), a - 6, -2; -8, 3, 1]
Du scheinst also nur ein paar kleinere Rechenfehler gemacht zu haben. Am Ende teilst du noch durch a damit du in der Hauptdiagonalen die 1 stehen hast.