安世身材魁伟,容貌端庄,声如洪钟.起初任命为谏官,还未受命,回到家里对母亲说：“朝廷不因为我安世不贤,让我任谏官.倘若就任这个官职,那就要有胆识也敢于伸张正义而无所畏惧,以自己的生命来担负起职责.如果冒犯了皇上,灾祸贬官就会立刻到来.皇上正以孝道治理天下,如果说我以母亲年老为托辞,应当可以避免任此官职.”母亲说：“这就不对了.我听说谏官是皇上面前的敢于直言诤谏的重臣,你父亲一生都想做这样的官却未能做到,而你有幸任此官职,你应当献出生命来报效国家的大恩.纵使遭罪被流放,不论远近,我一定会随你去的.”（安世）于是接受了官职.他在职多年,神色严肃立于朝廷之上,主持公道.他当面指斥,在朝廷上谏争,有时碰上皇上大怒,（他）就握着手板退一步站立,等皇上怒气稍解,再上前争辩.旁边陪侍的人在远观看,缩着头害怕得身上冒汗,把他称作“殿上虎”,一时间没有人不敬仰他.