Điều kiện của hệ là $x\geq -1$, $y\geq0$, $y\geq x$.Kí hiệu (1) và (2) lần lượt là phương trình đầu và cuối của hệ.
Khi đó (1) tương đương với $(\sqrt{y-x}-1)+(x+1)(y-2)-(x+1)(x-1)=0$,
hay $\frac{y-x-1}{\sqrt{y-x}+1}+(x+1)(y-x-1)=0$,
hay $(y-x-1)(\frac{1}{\sqrt{y-x}+1}+x+1)=0$ (3).
Vì $x\geq-1$ và $y\geq x$ nên $\frac{1}{\sqrt{y-x}+1}+x+1>0$. Do đó (3) tương đương với $y-x-1=0$, hay $x=y-1$ (4).
Từ (4) cho thấy (2) tương đương với $(y-1)(y^2-10)(\sqrt{y}+3)=y(y-1)(y-1+6\sqrt{y})$,
hay $(y-1)(y^2\sqrt{y}+2y^2-6y\sqrt{y}+y-10\sqrt{y}-30)=0$,
hay $(y-1)(y-\sqrt{y}-3)(y\sqrt{y}+3y+10)=0$ (5).
Vì $y\sqrt{y}+3y+10>0$ nên (5) tương đương với $(y-1)(y-\sqrt{y}-3)=0$. Giải phương trình này và được $y=1\vee y=\frac{7+\sqrt{13}}{2}$; suy ra $x=0\vee x=\frac{5+\sqrt{13}}{2}$. Các giá trị này đều thỏa mãn điều kiện của hệ phương trình.
Vậy, hệ đã cho có hai nghiệm, đó là $(x;y)=(0;1)$ hoặc $(x;y)=(\frac{5+\sqrt{13}}{2};\frac{7+\sqrt{13}}{2})$.