Deine Rechnungen sind falsch:
Wenn Du den Ansatz über eine lin. DGL machen willst, berechnest Du der Reihe nach:
$$ y'+p(x)y = q(x) $$
$$ I = \int_{x_0}^x p(u) \,du $$
$$ E^\pm = \exp(\pm I), \quad {\rm mit \quad } E^+\cdot E^- = 1 $$
$$ y_h = y_0 E^- $$
$$ y_p = \left[ \int_{x_0}^x q(u) E^+ \,du \right] E^- $$
Bei Dir:
\( I = \int 3/x = 3 \ln(x) = \ln(x^3) \)
\( E^+ = \exp(\ln(x^3)) = x^3 \)
\( E^- = 1/x^3 \)
Und jetzt musst Du das Integral \( 1/(x+x^3) \cdot x^3 \) ausrechnen.
Grüße,
M.B.