Da Du schon vermutest was rauskommen muss, würde ich hier wohl eine Polynomdivision empfehlen:
(2x^5-4x^3-6x)/(x^2+1) = 2x^3-6x = 2x(x^2-3)
Alternativ kannst Du auch x ausklammern, substituieren und die pq-Formel anwenden, da wird aber Polynomdivision fast schneller sein ;).