这里省略了介词of
原句应该是 A young man was caught of stealing.
省略之后表示由于什么原因而被抓.所以说如果想表示由于什么原因被抓的时候,可以运用这种caught+ 动词ing形式,但并不是固定搭配.