Ta có
ab(1-a)(1-b)=(a^3+b^3)(a+b)\geq 2\sqrt{a^3b^3}.2\sqrt{ab}=4a^2b^2
\Leftrightarrow (1-a)(1-b)\geq 4ab \Leftrightarrow 3ab+a+b-1\leq 0 \Leftrightarrow 3ab+2\sqrt{ab}-1\leq 0 \Leftrightarrow 0 < ab \leq \frac{1}{9}
BĐT phụ nếu xy \leq 1 thì ta có \frac{1}{\sqrt{1+x^2}}+\frac{1}{\sqrt{1+y^2}}\leq \frac{2}{\sqrt{1+xy}}
\Rightarrow P \leq \frac{2}{\sqrt{1+ab}}+3ab-2ab= \frac{2}{\sqrt{1+ab}}+ab với 0<ab\leq \frac{1}{9}
P đạt Max tại ab=\frac{1}{9} \Leftrightarrow a=b=\frac{1}{3}