∵x²-2x+3≤a²-2a-1，
∴x²-2x-a²+2a+4≤0，
∵不等式x²-2x+3≤a²-2a-1在R上的解集是空集，
∴x²-2x-a²+2a+4≤0在R上的解集是空集，
∴△=（-2）²-4（-a²+2a+4）＜0，即a²-2a-3＜0，
解得，-1＜a＜3．
故选C．