OF doing 是指害怕某种事物 可以表示经常性习惯性的 比如说我害怕开车 I am afraid of driving.而to do表示的情况比较具体化 比如说你今天晚上喝了很多酒 害怕去开车 就要说 I am afraid to drive tonight.
这个的用法你可以类比一下like to do 和like doing 前者表示具体的某一次 而后者表示倾向性的习惯性的喜爱