∵点A表示-3，
∴从点A出发，沿数轴向右移动4个单位长度到达B点，则点B表示的数是-3+4=1；
∴从点A出发，沿数轴向左移动4个单位长度到达B点，则点B表示的数是-3-4=-7；
故答案为：1或-7．