(1)f(x)=m*n=sin(x/3)cos(x/3)+√3cos²(x/3)
=1/2sin(2x/3)+√3/2cos(2x/3)+√3/2
=sin(2x/3+π/3)+√3/2.
(2)由2kπ-π/2≤2x/3+π/3≤2kπ+π/2(k∈Z),
得3kπ-5π/4≤x≤3kπ+π/4(k∈Z),
所以f(x)的单调递增区间是[3kπ-5π/4,3kπ+π/4](k∈Z).
(3)因为b²=ac,
所以由余弦定理,得cosx=(a²+c²-b²)/2ac=(a²+c²-ac)/2ac≥(2ac-ac)/2ac=1/2,
上式当且仅当a=c时等号成立.
因为x是三角形的内角,所以0