∵齐次方程 y''+2y'-3y=0的特征方程是r^2+2r-3=0,则r1=1,r2=-3
∴此齐次方程的通解是y=C1e^x+C2e^(-3x) (C1,C2是常数)
∵设原方程的解为y=(Ax^3+Bx^2+Cx)e^x,代入原方程化简得
[12Ax^2+(6A+8B)x+(2B+4C)]e^x=x^2e^x
==>12A=1,6A+8B=0,2B+4C=0
==>A=1/12,B=-1/16,C=1/32
∴y=(x^3/12-x^2/16+x/32)e^x是原方程的一个特解
故原方程的通解是y=C1e^x+C2e^(-3x)+(x^3/12-x^2/16+x/32)e^x.