M = [1, k, 0, 0; k, 1, 0, 0; 0, k, 1, 0; 0, 0, k, 1]
Du schreibst links deine Matrix auf und rechts die Einheitsmatrix und formst dann über den Gauss die linke Seite zur Einheitsmatrix um. Dann hast du rechts die Inverse stehen. Du solltest für Lambda nichts einsetzen. Ich komme auf folgende Inverse:
M^{-1} = 1/(1 - k^2)·[1, -k, 0, 0; -k, 1, 0, 0; k^2, -k, 1 - k^2, 0; - k^3, k^2, k·(k^2 - 1), 1 - k^2]
1 - k^2 = 0 --> k = -1 ∨ k = 1
Für k = ± 1 gibt es also wie du bereits erkannt hast keine Inverse.