不用这么复杂,
设甲胜概率为x,考察前两回合的结果,有3种情况,甲连胜两回合、甲乙一胜一负、乙连胜两回合,其发生的概率分别为a^2、2ab、b^2；3种情况后甲获胜的概率分别为1、x、0；由此可得方程
x=a^2+2abx
x=a^2/(1-2ab)