Zuerst löst Du die homogene Gleichung
-10 u(x) -3u'(x) +u''(x)=0
mittels Ansatzmethode
u= e^{a*x}
a ist in der Literatur oft Lambda.
Hier ein Link zur Herleitung, siehe Blatt 8
http://www.fbmn.h-da.de/~ochs/mathe3/skript/dgl2.pdf
Leitest dann das ganze 2 Mal ab , setzt das in die Aufgabe ein und kommst auf die charakteristische Gleichung
k^2 -3k-10=0
k(1)= -2
k(2)= 5
Mit den Lösungen für k bestimmst Du die homogene Lösung (u.a. aus Tabellen)
u(x)=C(1) e^{-2x} +C(2) e^{5x}
Dann brauchst Du einen Ansatz für die part. Lösung, der lautet
y(p)= A +Bx +Cx^2(auch aus Tabellen)
Diesen leitest Du 2 mal ab und setzt in die Aufgabe ein.
Dann führst Du einen koeffizientenvergleich durch.
Die Lösung der Aufgabe ist
y=y(h) +Y(p)
Zum Schluß setzt Du noch die AWB ein.
Lösung zum Vergleich:
u(x)= 3 x^2 -x -5 e^{-2x} -4 e^{5x} -4