Aloha :)
Bei Abbildungsmatrizen gibt es 3 wichtige Grundsätze, die du nie vergessen darfst:
1) Die Spalten der Matrix sind die Bilder der Basisvektoren.
2) Die Spalten der Matrix sind die Bilder der Basisvektoren.
3) Die Spalten der Matrix sind die Bilder der Basisvektoren.
Das heißt konkret, du musst die Basis"vektoren" \(1,x,x^2\) der Reihe nach in das Monster \(F(p)(x)\) einsetzen und das Ergebnis wieder mit den Basis"vektoren" ausdrücken.
$$F(1)(x)=\left(x^2+\frac{1}{2}x-\frac{1}{2}\right)\cdot\underbrace{\frac{d^2(1)}{dx^2}}_{=p''(x)}+(x+1)\cdot\underbrace{\frac{d(1)}{dx}}_{=p'(x)}-4\cdot\underbrace{1}_{=p(x)}$$$$\phantom{F(1)(x)}=0+0-4=-4=\begin{pmatrix}-4\\0\\0\end{pmatrix}\begin{pmatrix}1\\x\\x^2\end{pmatrix}$$$$F(x)(x)=\left(x^2+\frac{1}{2}x-\frac{1}{2}\right)\cdot\underbrace{\frac{d^2(x)}{dx^2}}_{=p''(x)}+(x+1)\cdot\underbrace{\frac{d(x)}{dx}}_{=p'(x)}-4\cdot\underbrace{x}_{=p(x)}$$$$\phantom{F(x)(x)}=0+(x+1)-4x=-3x+1=\begin{pmatrix}1\\-3\\0\end{pmatrix}\begin{pmatrix}1\\x\\x^2\end{pmatrix}$$$$F(x^2)(x)=\left(x^2+\frac{1}{2}x-\frac{1}{2}\right)\cdot\underbrace{\frac{d^2(x^2)}{dx^2}}_{=p''(x)}+(x+1)\cdot\underbrace{\frac{d(x^2)}{dx}}_{=p'(x)}-4\cdot\underbrace{x^2}_{=p(x)}$$$$\phantom{F(x^2)(x)}=\left(x^2+\frac{1}{2}x-\frac{1}{2}\right)\cdot2+(x+1)\cdot2x-4x^2=3x-1\begin{pmatrix}-1\\3\\0\end{pmatrix}\begin{pmatrix}1\\x\\x^2\end{pmatrix}$$
Damit lautet die Abbildungsmatrix:$$M^A_A(F)=\begin{pmatrix}-4 & 1 & -1\\0 & -3 & 3\\0 & 0 & 0\end{pmatrix}$$
Achja, bevor ich es vergesse: "Die Spalten der Matrix sind die Bilder der Basisvektoren." ;)