ĐKXĐ : x^{2}\geq x+y+1; 2x+y\geq 0(*); 5x^{2}+3y^{2}+3x+7y\geq 0
xét pt (1) có:
nếu
x^{2}=x+y+1\Rightarrow y+1=0\Leftrightarrow (x;y)=\left[ {\begin{matrix} (0;-1)\\ (1;-1) \end{matrix}} \right.
thay 2 lần lượt 2 nghiệm này vào (2) ta thấy (x;y)=(1;-1) là nghiệm của hệ.
nếu x^{2}>x+y+1 (**) thì (1) \Leftrightarrow \sqrt[3]{x-y-1}-1=\frac{y+1}{\sqrt{x^{2}-x-y-1}}-1
\Leftrightarrow \frac{x-y-2}{\sqrt[3]{(x-y-1)^{2}}+\sqrt[3]{x-y-1}+1}=\frac{(x-y-2)(-x-y-1)}{(y+1+\sqrt{x^{2}-x-y-1})\sqrt{x^{2}-x-y-1}}
\Leftrightarrow \left[ {\begin{matrix} y=x-2 (3)\\ \frac{1}{\sqrt[3]{(x-y-1)^{2}}+\sqrt[3]{x-y-1}+1}+\frac{x+y+1}{(y+1+\sqrt{x^{2}-x-y-1})\sqrt{x^{2}-x-y-1}}=0(4) \end{matrix}} \right.
cộng (*) với (**) ta suy ra x^{2}+x-1>0\Leftrightarrow x<\frac{-1-\sqrt{5}}{2} hoặc x>\frac{-1+\sqrt{5}}{2}
nếu x<\frac{-1-\sqrt{5}}{2}\Rightarrow y\geq -2x>1+\sqrt{5}\Rightarrow x+y+1>0 nên (4) vô nghiệm.
nếu x> \frac{-1+\sqrt{5}}{2}
ta giả sử x+y+1\leq0\Rightarrow \frac{1+\sqrt{5}}{2}+y<x+y+1\leq 0\Rightarrow y< -\frac{1+\sqrt{5}}{2}\Rightarrow x-y-1>\sqrt{5}-1>0
\Rightarrow VT(1)\geq 0
VP(1)=y+1< \frac{1-\sqrt{5}}{2}<0
mà VT=VP
từ đó suy ra (1) vô lý. vậy x+y+1>0
\Rightarrow (4) vô nghiệm.
thay (3) vào (2) ta được
2x-1+\sqrt{3x-2}=\sqrt{8x^{2}-2x-2}
\Leftrightarrow 16x^{4}-56x^{3}+73x^{2}-42x+9=0
\Leftrightarrow (x-1)^{2}(4x-3)^{2}=0
\Leftrightarrow \left[ {\begin{matrix} x=1\Rightarrow y=-1\\ x=\frac{3}{4} (loại)\end{matrix}} \right.
vậy hệ có nghiệm duy nhất (x;y)=(1;-1)