speak to sb 有两种解释,一可以译为：与某人交谈,用言语表达；谈话.其后常跟about/of sb /sth.
另一种解释：（与某人）礼尚往来,（常用语否定句）.例如:They'are not speaking to each other after their argument.他们争吵过后就互不理睬了.
所以,此句可以译为“不要理睬我”,也可译为“不要和我说话”.翻译到底选什么,视具体语境而定.