,
sei $$ S = \{0,1,2,3,4\} $$ ein Zustandsraum mit der Übergangsmatrix
$$ P=\left(\begin{array}{ccccc}0 & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} \\1 & 0 & 0 & 0 & 0 \\0 & 1 & 0 & 0 & 0 \\0 & 0 & 1 & 0 & 0 \\0 & 0 & 0 & 0 & 1\end{array}\right)\ $$
Welcher Zustand ist rekurrent und transient?
Ich muss ja eigentlich nur die folgende Summe (Wikipedia) ausrechnen:
$$ \sum_{n \in \mathbb {N}} p_{ii}^n = \sum_{n \in \mathbb N} P(\tau_{ii} = n) $$ Wobei tau die Rückkehrzeit ist. Wenn diese Summe für den Zustand i gleich 1 ist, ist der Zustand rekurrent und für kleiner 1 transient.
Wie rechne ich diese Summe aber nun konkret aus, könnte mir das mal bitte jemand an dem obigen Beispiel exemplarisch zeigen, damit ich die anderen Aufgaben selbst machen kann.
