懂英语的人+懂汉语的人：20+3=23（人）
4倍懂汉语的：23-3=20（人）
懂汉语的：20/4=5（人）
懂英语的：5x3+3=18（人）,其中不懂汉语的：18-3=15（人）.
所以答案是15人.