（1）∵代数式M=（a+b+1）x³+（2a-b）x²+（a+3b）x-5是关于x的二次多项式，
∴a+b+1=0，且2a-b≠0，
∵关于y的方程3（a+b）y=ky-8的解是y=4，
∴3（a+b）×4=4k-8，
∵a+b=-1，
∴3×（-1）×4=4k-8，
解得k=-1；
（2）∵当x=2时，代数式M=（2a-b）x²+（a+3b）x-5的值为-39，
∴将x=2代入，得4（2a-b）+2（a+3b）-5=-39，
整理，得10a+2b=-34，

a+b＝−1① 10a+2b＝−34②

，
由②，得5a+b=-17③，
③-①，得4a=-16，
系数化为1，得a=-4，
把a=-4代入①，解得b=3，
∴原方程组的解为

a＝−4 b＝3

，
∴M=[2×（-4）-3]x²+（-4+3×3）x-5=-11x²+5x-5．
将x=-1代入，得-11×（-1）²+5×（-1）-5=-21．