∵a²=3a+1，b²=3b+1，
∴a²-3a-1=0，b²-3b-1=0，
∵a≠b，
∴a、b是方程x²-3x-1=0的两个根，
∴a+b=3，ab=-1，
∴a²+b²=（a+b）²-2ab=3²-2×（-1）=11，
故选C．