(1)
a4=a1+3d,a5=a1+4d
因为a1、a4、a5成等比数列
那么a4^2=a1*a5
即(a1+3d)^2=a1*(a1+4d)
所以2a1*d+9d^2=0
因为d≠0
所以2a1+9d=0①
又S6=5a3-1
S6=6(a1+a6)/2=3(a1+a6)=3(a1+a1+5d)=6a1+15d
5a3-1=5(a1+2d)-1=5a1+10d-1
所以6a1+15d=5a1+10d-1
即a1+5d+1=0②
联立①②解得a1=9,d=-2
所以an=a1+(n-1)d=9-2(n-1)=11-2n
(2)
Sn=n(a1+an)/2=n(9+11-2n)/2=n(10-n)
Sn的对称轴是n=10/2=5所以当n=5时Sn取的最大值,为S5=5*(10-5)=25