f ist ja eine einfache reelle Funktion und kann nach den Standard-Regeln differenziert werden. Um die Schreibarbeit zu organisieren, schauen wir auf Zähler und Nenner
$$u(t):=\langle x+tp,Ax+tAp\rangle=\langle x,Ax\rangle+2t\langle p,Ax\rangle+t^2\langle p,Ap\rangle \\\quad \Rightarrow u'(t)=2\langle p,Ax\rangle+2t \langle p,Ap\rangle$$
Der Nenner \(v(t):=\langle x+tp,x+tp\rangle\) ist der Zähler für den Fall, dass \(A=I\)
Damit kann man die benötigte Ableitung mit der Quotientenregel berechnen:
$$f'(0)=\frac{v(0)u'(0)-v'(0)u(0)}{v(0)^2}=2\frac{\|x\|^2\langle p,Ax \rangle -\langle p,x \rangle \langle x,Ax \rangle}{\|x\|^2}\\\quad=2\langle p,Ax-\langle x,Ax \rangle x \rangle$$
(mit Benutzung von \(\|x\|=1\))
Wenn der Rayleigh-Quotient in einem solchen Punkte x eine Extremstelle hat, muss \(f'(0)=0\) sein für beliebige p, also gilt dann \(Ax=\langle x,Ax\rangle x\)