Bei diesem Beispiel brauchst du nicht substituieren. Hier ist es besser partielle Integration anzuwenden:
$$ \int x*e^x dx = x*e^x- \int e^x dx
=x*e^x-e^x = e^x (x-1) $$
partielle Integrationsformel:
$$ \int g*f =g*F-\int g'*F $$
wobei F Stammfunktion von f ist.