du kannst hier eine Menge ausklammern:
(a^2-b^2-a-3b-2)=((a+b)(a-b)-(a+b)+2(-b-1))
=((a+b)(a-b-1)+2(-b-1))
=((a+b)(a-b-1)+2(a-b-1-a))
=((a+b+2)(a-b-1)-2a)
=((a+b+2)(a-b-1)-a-a+b+1-b-1)
=((a+b+1)(a-b-1)-a-b-1)
=((a+b+1)(a-b-1)-(a+b+1))
=((a+b+1)(a-b-2))