Ta có
$ab(1-a)(1-b)=(a^3+b^3)(a+b)\geq 2\sqrt{a^3b^3}.2\sqrt{ab}=4a^2b^2$
$\Leftrightarrow (1-a)(1-b)\geq 4ab \Leftrightarrow 3ab+a+b-1\leq 0 \Leftrightarrow 3ab+2\sqrt{ab}-1\leq 0 \Leftrightarrow 0 < ab \leq \frac{1}{9}$
BĐT phụ nếu $xy \leq 1 $ thì ta có $\frac{1}{\sqrt{1+x^2}}+\frac{1}{\sqrt{1+y^2}}\leq \frac{2}{\sqrt{1+xy}}$
$\Rightarrow P \leq \frac{2}{\sqrt{1+ab}}+3ab-2ab= \frac{2}{\sqrt{1+ab}}+ab$ với $0<ab\leq \frac{1}{9}$
P đạt Max tại $ab=\frac{1}{9} \Leftrightarrow a=b=\frac{1}{3}$