$A=(sinx-cosx)^{2}+2cos2x+3sinx.cosx$
$=1-2sinx.cosx+2cos2x+3sinx.cosx$
$=1+2cos2x+\frac{1}{2}sin2x$
$=1+\frac{\sqrt{17}}{2}(\frac{4}{\sqrt{17}}cos2x+\frac{1}{\sqrt{17}}sin2x)$
$=1+\frac{\sqrt{17}}{2}sin(\alpha +2x)$ ( voi $sin \alpha=\frac{4}{\sqrt{17}},cos \alpha=\frac{1}{\sqrt{17}}$)
Ta co : $-1\leq sin(\alpha+2x)\leq 1$
$\Rightarrow 1-\frac{\sqrt{17}}{2}\leq A\leq 1+\frac{\sqrt{17}}{2}$
Vay $Max A=1+\frac{\sqrt{17}}{2}$