KMTTQ, giả sử $a \ge b \ge c \ge0$
Khi đó $4=a^2+b^2+c^2+4abc \ge \frac{a^2}2+\frac{a^2}2+b^2 \ge 3\sqrt[3]{\frac{a^4b^2}{4}}$
$\Rightarrow a^2b \le \frac{16}{3\sqrt 3}$
Dễ thấy $0<1-abc \le 1$
Do đó ta có $(a^2+b^2+c^2)^2=16(1-abc)^2 \le 16(1-abc) \le 16-\frac{9\sqrt 3}{16}abc$Nên ta chỉ cần chứng minh $a^2b+b^2c+c^2a-3abc \le \frac{16}{3\sqrt 3}$
$\Leftrightarrow a^2b+c(b^2+ca-3ab) \le \frac {16}{3\sqrt 3}$
Đúng do $\begin{cases}a^2b \le \frac {16}{3\sqrt3} \\ c(b^2+ca-3ab) \le c(ab+ab-3ab)=-abc \le 0 \end{cases}$
BDT dc chứng minh, đẳng thức xảy ra khi $a,b,c$ là hoán vị của bộ số $\left(\sqrt{\frac83};\sqrt{\frac43},0 \right)$