△=(k-2)^2-4(k^2+3k+5)≥0,即
-4≤k≤-1/3
a^2+b^2=(a+b)^2-2ab=(k-2)^2-2(k^2+3k+5)=-k^2-10k-6 (-4≤k≤-1/3)
所以-1/9+10/3-6-≤a^2+b^2≤-16+40-6,即
-25/9≤a^2+b^2≤18,即最大值为18