die homogene Lösung lautet
yh = c1*e-x + c2*x*e-x
Für den Rest würde ich nen Ansatz der rechten Seite wählen.
a) y = e-x(a*sin(2x)+b*(cos(2x))
Das zweimal ableiten und in die DGL selbst einsetzen. Dann nen Koeffizientenvergleich. Du solltest auf yp = -1/4*e-x*sin(2x) kommen.
b) Hier haben wir nen Resonanzfall vorliegen. Der Ansatz lautet:
y = a + b*x2*e-x
(Du kannst das auch summandenweise abhandeln -> Superpositionsprinzip)
Ich komme auf yp = 3-1/2*x2*e-x
Grüße