（1）f'(x)=3x^2+2ax+b,
由题意f'(1)≤0,f(0)≤0,即3-2a+b≤0,b≤0
当a大于0,b小于0时,由均值不等式,√(((a^2/4)+(a^2/4)+(a^2/4)+(a^2/4)+b^2)/5)≥(2a-b)/5=3/5(注意到a＞0,b＜0)
所以a^2+b^2≥9/5,当且仅当a=6/5,b=-3/5时取等
当a≤0时,b≤2a-3≤-3,所以a^2+b^2≥b^2≥9＞9/5,
当b=0时,a≥3/2,a^2+b^2≥9/4＞9/5
综上,a^2+b^2的最小值为9/5
（2）由高次方程韦达定理,a=√(1-t)+1+√(1+t),b=√(1-t)+√(1+t)+√(1-t)(1+t),
所以a^2=1-t+1+1+t+2√(1-t)+2√(1+t)+2√(1-t)(1+t)=2b+3
证毕