on 有所制定的时间,是特指,因为the evening后面有of May Day做定语,所以要用on；
如果泛指“晚上”,没有说明具体哪个“晚上”,就用in,比如说：He likes to read books in the evening