2(a+3b)²-8(a+b)(a-b)-(a+3b)(a-b)
=2(a^2+6ab+9b^2)-8(a^2-b^2)-(a^2+3ab-ab-3b^2)
=2a^2+12ab+18b^2-8a^2+8b^2-a^2-2ab+3b^2
=-7a^2+10ab+29b^2