die homogene Lösung lautet
yh = c1*e^{-x} + c2*x*e^{-x}
Für den Rest würde ich nen Ansatz der rechten Seite wählen.
a) y = e^{-x}(a*sin(2x)+b*(cos(2x))
Das zweimal ableiten und in die DGL selbst einsetzen. Dann nen Koeffizientenvergleich. Du solltest auf yp = -1/4*e^{-x}*sin(2x) kommen.
b) Hier haben wir nen Resonanzfall vorliegen. Der Ansatz lautet:
y = a + b*x^2*e^{-x}
(Du kannst das auch summandenweise abhandeln -> Superpositionsprinzip)
Ich komme auf yp = 3-1/2*x^2*e^{-x}
Grüße