Jetzt die Frage, kann ich im Koeff.vgl. E*e^{x}=e^{x} setzten und wenn nicht was soll ich machen
Du könntest zunächst durch \(e^x\) dividieren, und dann \(E\) einfach zu 1 setzen. Aber vielleicht soltest Du es lieber so machen:
In der DGL kommt kein \(y\) vor, daher substituiere ich zunächst \(z=y'\). Man erhält $$z'+10z=x^2e^x$$ Der homoge Anteil \(z'+10z=0\) ist als Klassiker leicht zu lösen: \(z=C_1 \cdot e^{-10x}\). Und für den inhomogenen Teil verwende ich den Ansatz $$z = (Ax^2 + Bx + C)\cdot e^x \quad \Rightarrow z'=(Ax^2 + Bx + C)\cdot e^x + (2Ax+B) \cdot e^x$$ Einsetzen ergibt
$$ (Ax^2 + Bx + C)\cdot e^x + (2Ax+B) \cdot e^x + 10((Ax^2 + Bx + C)\cdot e^x) = x^2 e^x \\ (Ax^2 + Bx + C) + (2Ax+B) + 10(Ax^2 + Bx + C) = x^2 \\ (11A-1)x^2 + (2A+11B)x + (B + 11C) = 0 \\ \Rightarrow A=\frac{1}{11}; \quad B = \frac{-2}{11^2}; \quad C = \frac{2}{11^3} $$
und somit ist \(z(x)\) die Summe beider Lösungen $$z(x)= C_1 \cdot e^{-10x} + \frac{1}{11^3} \left( 121 x^2 - 22x + 2\right) \cdot e^x$$
wenn Du Fragen hast, z.B. wie man nun zu \(y(x)\) kommt, oder was anderes, so melde Dich bitte.