Zeige dass H maximal wenn alle Ereignisse gleich wahrscheinlich

Question

Ein Versuch habe n Möglichkeiten, die mit den entsprechenden Wahrscheinlichkeiten \(p_i>0\) eintreten, wobei \(\sum_{i=1}^np_i=1\) ist. ein natürliches Mass für die Ungewissheit über den Ausgang des Versuchs ist die sogenannte Entropie, die man definiert als die Grösse:

$$H:= -\sum_{i=1}^np_i*log(p_i)$$

Zeige dass H maximal ist, wenn alle Ergebnisse gleich wahrscheinlich sind.

Answer 1

Hi,
Du musst die Funktion \( H(p) = -\sum_{k=1}^n p_k \log(p_k) \) unter der Nebenbedingung \( \sum_{k=1}^n p_k = 1\) maximieren. Damit bekommst Du folgendes Gleichungssystem
$$ (1) \quad -\log(p_k) -1 - \lambda = 0 \text{ für } k=1, \cdots ,n $$ und \( \sum_{k=1}^n p_k = 1 \)

Aus (1) folgt $$ \log(p_k) = -1-\lambda \text{ für } k=1, \cdots ,n $$
D.h. die \( p_k \) sind alle gleich.
Außerdem gilt \( p_k = 10^{-1-\lambda} \) wenn \( \log \) der 10-er Logarithmus ist. Daraus ergibt sich \( \sum_{k=1}^n p_k = n\cdot 10^{-1-\lambda} = 1 \) also \( \lambda = \log(n)-1 \) und \( p_k = \frac{1}{n} \)

Die Hesse Matrix ist eine Diagonalmatrix und hat auf der Diagonalen die Elemente \( -\frac{1}{p_k} \) stehen. Damit ist die Hesse Matrix negativ definit und es liegt in der Tat ein Maximum vor.

Comments

Wie kommst du auf das Gleichungssystem (1)

---

Du musst $$ \frac{\partial }{\partial p_k}H(p)  $$ für alle \( k \) bilden und diese Gleichungen nullsetzten. Das ergibt Dir einen lokalen Extremwert. Die Hesse Matrix sagt Dir ob ein Maximum, Minimum oder keines von beiden vorliegt.