Das Element A ( i ; k ) - also wie üblich Zeile i und Spalte k - gibt die Wahrscheinlichkeit für den Übergang von Zustand k nach Zustand i . Das ist in Wiki übrigens alles wunderbar erklärt.
Also die Matrix enthält nur die Übergangswahrscheinlichkeiten; die Wahrscheinlichkeitsverteilung in dem konkreten Zustand ist ja in dem Spaltenvektor kodiert. Du wendest diese Matrix ja auf einen Vektor an.
Laut wiki ist ja problematisch, wenn sich Nullen in der Matrix befinden; nein das bedeutet, dass der entsprechende ÜBERGANG verboten ist; die Übergangswahrscheinlichkeit ist Null.
