Gọi $1\leq x1\leq x2\leq x3$ là 3 nghiệm of pt đã cho.
Khi đó, theo đ/l Viete, ta có: $\left\{ \begin{array}{l} x1+x2+x3=x1x2x3=p(1)\\ x1x2+x2x3+x3x1=q(2) \end{array} \right.$
Từ (1) suy ra tồn tại $\Delta ABC$ để $x1=tan A; x2=tanB;x3=tan C$ vs $\frac{pi}{4}\leq A\leq B\leq C<\frac{pi}{2}$
suy ra $F = cotA + cot B + cot C + 3cotA.cotB.cotC$
$=cotA+\frac{2sinA}{cos(B-C)+cosA}+3cotA.\frac{cos(B-C)-cosA}{cos(B-C)+cosA}$
suy ra $F\leq$ $\frac{1}{2tan\frac{A}{2}}$+$3.tan\frac{A}{2}-3.tan^3\frac{A}{2}$ = $\frac{1}{2t}+3t-\frac{3}{2}.t^3$$=f(t).$
Trong đó: t= $tan\frac{A}{2}$ và $(\sqrt{2}-1)\leq t\leq \frac{1}{\sqrt{3}}$ do $\frac{pi}{8}\leq \frac{A}{2}\leq\frac{pi}{6} $
Ta c.m đc $f(t) $\leq $ f(\sqrt{2}-1)$ = $8-4\sqrt{2}$ $\forall$ $t \epsilon khoảng trên $
Vậy max F=8-$4\sqrt{2}$
đạt đc khi $A=\frac{pi}{4}$ B=C=$\frac{3pi}{8}$
P/s: bài lm hơi tắt, mong bn thông cảm và đừng khiếu nại! hjhj!