∵a+b=5，ab=3，
∴a³b-2a²b²+ab³=ab（a²-2ab+b²）
=ab（a-b）²
=ab[（a+b）²-4ab]
=3（25-12）
=39．
故答案为：39．