路程是物体通过的轨迹的长度，小球从4m高处下落的过程中通过的路程为4m，而反弹到1m高处通过的路程是1m，故整个过程中通过的路程是5m．
位移是从初始位置指向末位置的有向线段，其大小等于初末位置之间的直线距离，故位移大小为4-1=3m．
故A正确．
故选A．