P=3(x2+y2)+3(x+y)4+3−(x+y)x+y−(x2+y2)=−x2+y24+3(x+y)4+3x+y−1
=−(x+y)24+(x+y)−1−x+y4+3x+y+xy2
=−(x+y2−1)2−x+y4+3x+y+3−(x+y)2
=−(x+y2−1)2−3(x+y4−1x+y)+32
=−(x+y2−1)2−3.(x+y)2−44(x+y)+32 (1)
Ta có: 3=xy+x+y≤(x+y)24+x+y=(x+y2+1)2−1
=> (x+y2+1)2≥4
=> x+y≥2
=> (x+y)2≥4 (do x+y>0) (2)
từ (1) và (2) => P≤32
Dấu = xảy ra <=> x=y=1
Vậy Pmax=32 tại x=y=1