Cần chứng minh bất đẳng thức phụ: Với mọi số thực dương $x,y,z$ ta luôn có:
$x^2+y^2+z^2+2abc+1\geq 2(xy+yz+zx)$
Áp dụng nguyên lí Dirichlet: Luôn có 2 số nhỏ hơn hoặc lớn hơn 1. Giả sử đó là $x$ và $y$
Ta có: $(x-1)(y-1)\geq 0$
$\Leftrightarrow xy + 1 \geq x+y$
$\Leftrightarrow xyz + z \geq xz + yz$
Nên $ x^2 + y^2 + z^2 + 2xyz + 1 = x^2 + y^2 +z^2 + 2xz + 2yz - 2z + 1$
Ta có: $x^2+y^2+z^2+2xyz+1 - 2(xy+yz+zx)= x^2 + y^2 + z^2 -2 xy - 2z +1 =(x-y)^2 + (z-1)^2 \geq 0$
Hay, $ x^2 + y^2 + z^2 + 2xyz +1 \geq 2(xy+yz+zx)$
Dấu = xảy ra $\Leftrightarrow x = y = z =1$
Trở lại bài toán, ta có: $2P \geq a^2 + b^2 + c^2 + 2ab + 2bc + 2ca -1 = (a+b+c)^2 -1 =8$
$\Leftrightarrow P \geq 4$
Dấu = xảy ra $\Leftrightarrow a=b=c=1$
Có: $P= a^2 + b^2 + c^2 +2ab + 2bc + 2ca - 2ab - 2bc - 2ca + abc = 9 - 2ab - 2ca - 2bc + abc$
Ta xét 2 trường hợp:
Th1: Có ít nhất 1 trong 3 số = 0. Giả sử đó là $a$.
$\Rightarrow P=9-2bc \leq 9$
Th2: Cả 3 số đều lớn hơn 0.
$\Rightarrow 2ab + 2ca + 2bc \geq 6\sqrt[3]{abc}$
Mà $a+b+c\geq3\sqrt[3]{abc} \Leftrightarrow abc \leq 1$
Nên, $2ab + 2bc + 2ca \geq 6\sqrt[3]{abc} \geq abc$
Từ đó, $P\leq 9 - 5abc < 9$
Vậy, $P Max = 9 \Leftrightarrow a=0$ và $b=0 hoặc c=0$
Trong trường hợp $b=0$ thì $c=3$ nên vô lí.
Vậy $P Min = 4 \Leftrightarrow a=b=c=1$
$P Max = 9 \Leftrightarrow a=0;c=0 và b=3$ và các hoán vị của $a$ và $b$