Dein Ansatz ist gar nicht schlecht: Wenn \( y_h \) eine Lösung der DGL ist genügt es der Gleichung
$$ y_h'' +3y_h' +2y_h =3\cos(2x) $$
Die Ableitungen rechnet man schnell aus:
$$ y_h' = 2a \cos(2x) - 2b \sin(2x) $$ $$ y_h'' = -4a \sin(2x) - 4b \cos(2x) = -4y_h $$
Und kann diese dann einsetzen:
$$ \begin{aligned}&-4 y_h + 3 (2a \cos(2x) - 2b \sin(2x)) + 2 y_h \\=& -2(a \sin(2x) + b \cos(2x)) + 6(a \cos(2x) - b \sin(2x)) \\ =& (-2a-6b)\sin(2x) + (6a-2b)\cos(2x) \\ \stackrel{!}{=} &3\cos(2x)\end{aligned} $$
Das führt zum Gleichungssystem (du kannst z.B. \( x =0 \) und \( x = \frac{\pi}{4} \) einsetzen)
$$ -2a-6b = 0\\ 6a - 2b = 3 $$
Dieses kannst du jetzt lösen.
[spoiler]
Die Lösung ist \( a = \frac{9}{20} \) und \( b = -\frac{3}{20} \)
[/spoiler]
