∵x+1和x-3是m的平方根
∴x+1和x-3互为相反数
即x+1+x-3=0 解得x=1
∴m=4