ĐKXĐ : $x^{2}\geq x+y+1$; $2x+y\geq 0(*)$; $5x^{2}+3y^{2}+3x+7y\geq 0$
xét pt (1) có:
nếu $x^{2}=x+y+1\Rightarrow y+1=0\Leftrightarrow (x;y)=\left[ {\begin{matrix} (0;-1)\\ (1;-1) \end{matrix}} \right.$
thay 2 lần lượt 2 nghiệm này vào (2) ta thấy (x;y)=(1;-1) là nghiệm của hệ.
nếu $x^{2}>x+y+1$ (**) thì (1) $\Leftrightarrow \sqrt[3]{x-y-1}-1=\frac{y+1}{\sqrt{x^{2}-x-y-1}}-1$
$\Leftrightarrow \frac{x-y-2}{\sqrt[3]{(x-y-1)^{2}}+\sqrt[3]{x-y-1}+1}=\frac{(x-y-2)(-x-y-1)}{(y+1+\sqrt{x^{2}-x-y-1})\sqrt{x^{2}-x-y-1}}$
$\Leftrightarrow \left[ {\begin{matrix} y=x-2 (3)\\ \frac{1}{\sqrt[3]{(x-y-1)^{2}}+\sqrt[3]{x-y-1}+1}+\frac{x+y+1}{(y+1+\sqrt{x^{2}-x-y-1})\sqrt{x^{2}-x-y-1}}=0(4) \end{matrix}} \right.$
cộng (*) với (**) ta suy ra $x^{2}+x-1>0\Leftrightarrow x<\frac{-1-\sqrt{5}}{2}$ hoặc $x>\frac{-1+\sqrt{5}}{2}$
nếu $x<\frac{-1-\sqrt{5}}{2}\Rightarrow y\geq -2x>1+\sqrt{5}\Rightarrow x+y+1>0$ nên (4) vô nghiệm.
nếu $x> \frac{-1+\sqrt{5}}{2}$
ta giả sử $x+y+1\leq0\Rightarrow \frac{1+\sqrt{5}}{2}+y<x+y+1\leq 0\Rightarrow y< -\frac{1+\sqrt{5}}{2}\Rightarrow x-y-1>\sqrt{5}-1>0$
$\Rightarrow VT(1)\geq 0$
VP(1)=y+1< $\frac{1-\sqrt{5}}{2}<0$
mà VT=VP
từ đó suy ra (1) vô lý. vậy x+y+1>0
$\Rightarrow (4)$ vô nghiệm.
thay (3) vào (2) ta được
$2x-1+\sqrt{3x-2}=\sqrt{8x^{2}-2x-2}$
$\Leftrightarrow 16x^{4}-56x^{3}+73x^{2}-42x+9=0$
$\Leftrightarrow (x-1)^{2}(4x-3)^{2}=0$
$\Leftrightarrow \left[ {\begin{matrix} x=1\Rightarrow y=-1\\ x=\frac{3}{4} (loại)\end{matrix}} \right.$
vậy hệ có nghiệm duy nhất (x;y)=(1;-1)