不是.
Having finished his homework, 是现在分词作状语.
前面用动词ing形式（的否定形式）表示伴随或原因,后面直接跟一个表示结果或者事实的句子就可以了.
你也可以这样理解比较简单!——做完作业后,他出去走走.那么“走走”是“做完”之后的动作,而“走走”已经发生了,所以用went, 那么做went 之前的动作,必须要用一个“完成时”,所以用"have finished",那么用来做“状语”,显然就是Having finished了,因为英语没有hading finished.
祝学习进步!