∵函数f（x）=-x²+b的图象是开口朝下，且以y轴为对称轴的抛物线，
故函数f（x）=-x²+b在[-3，-1]上为增函数，
当x=-1时，函数取最大值-1+b=4，解得b=5，
当x=-3时，函数取最小值-9+5=-4，
故答案为：-4