如果把used to 看成副词的话,那在句中一般就是状语了,相当于once,ever等.但是如果是副词,那么在回答问题（或省略）的时候很少会出现“主语+副词”这种结构,像“I/he /she/they...+ once/ever/sometimes/often...”,往往都直接单用“副词”来回答 (像“once/ sometimes...”等) 或者全句不省略,从这方面来说,used to 不能看成是副词.
我个人认为,used to 在句子中相当于一个情态动词或者助动词,虽然现在我们经常看到它的否定形式为do/does/did not used to ...其实其正式的用法为：used not to ,直接加not构成否定,这应该可列入情态动词或者助动词行列,(其实我一直把used to 列入情态动词,因为情态动词里面有它的一个表姐妹：ought to~嘿嘿.)