∵将一根长9cm的筷子，置于底面直径为3cm，高为4cm的圆柱形水杯中，
∴在杯子中筷子最短是等于杯子的高，最长是等于杯子斜边长度，
∴当杯子中筷子最短时等于杯子的高，h=9-4=5（cm），
当杯子中筷子最长时等于杯子斜边长度，h=9-

32+42

=4（cm），
∴h的取值范围是：4≤h≤5．
故答案为：4≤h≤5．