这要用位错理论来解释.
金属的硬度通常是用硬度测试仪测量的,所谓金属硬度小,也就是硬度测试仪的压头容易压入金属,换句话说,就是金属容易发生塑性变形.
塑性变形是怎么回事呢,本质上是金属中的位错运动导致的,（位错是晶体中的一种一维缺陷）.而晶界（晶粒的边界）会阻挡位错的运动.
晶粒越小,同样大小的一块材料中,晶界就越多,对位错运动的阻碍就越大,材料形变的阻力就越大,宏观上就是硬度高.
更详细的分析可以借一本《金属学》来看.