Ta có: Xét y=0⇒x=1⇒P=2.
Xét y≠0, ta có:
P=2x2+12xy1+2xy+2y2=2x2+12xy(x2+y2)+2xy+2y2=2x2+12xyx2+2xy+3y2
=2t2+12tt2+2t+3=f(t) với t=xy,t∈R.
Tìm GTLN, GTNN của f(t), ta được:
max tại x=3y=\pm \frac{3\sqrt{10}}{10} , \min P=-6 tại -x=\frac{3}{2}y=\pm \frac{3}{\sqrt{13}}