不可以用would.
因为In case 引导的从句使用了虚拟语气,表示下雨并非是一种真实情况,而是一种假设.所以要求从句的谓语动词用should+动词原形