设A(x1,y1）,B（x2,y2)
解方程组x^2-y^2=1,y=kx-1,得,（1-k^2)x^2+2kx-2=0
△=8-4k^2≥0,-√2≤k≤√2
则x1+x2=2k/(k^2-1),x1x2=2/(k^2-1)
AB=√(1+k^2)*√[(x1+x2)^2-4x1x2)]=2√[(1+k^2)(2-k^2)]/│k^2-1│
O到AB距离d=1/√(k^2+1)
S=AB*d*1/2=√(2-k^2)/│k^2-1│=√k
k^5-2k^3+k^2+k-2=0
解方程即可