Du hast erst mal recht, dass 3 rauskommen müsste.
Um das zu berechnen, kannst du hier umformen bis du sozusagen den undefinierten Wert rauskürzen kannst.

Die Umformung von sin(3x) stammt aus der Dreifachwinkelformel, die eine Folge aus den Additionstheoremen für sin und cos ist.
Kürzen mit sin (x) ist die einzige Nicht-äquivalenzumformung, sie darf strenggenommen nur neben den Nullstellen von sin(x) vorgenommen werden. Bis beliebig nahe zur Definitionslücke.
Nach dem Kürzen kann man 'lim' weglassen und x=0 einsetzen und kommt auf den Schluss der Grenzwertberechnung
= (3 - 4sin2(0))*cos(5*0)*cos(0) = 3*1*1 = 3