Dễ thấy rằng $xy+x-y^2-y=(x-y)(y+1)$. Suy ra điều kiện của hệ là $y\geq 1$, $4y^2-2\geq x\geq y$.
Phương trình đầu của hệ tương đương với
$x-y+3\sqrt{(x-y)(y+1)}-4(y+1)=0$,
hay
$(\sqrt{x-y}-\sqrt{y+1})(\sqrt{x-y}+4\sqrt{y+1})=0$,
suy ra
$\sqrt{x-y}-\sqrt{y+1}=0$ (vì $\sqrt{x-y}+4\sqrt{y+1}>0$),
hay
$x=2y+1$.
Với kết quả này phương trình cuối của hệ tương đương với
$\sqrt{4y^2-2y-3}+\sqrt{y-1}=2y$,
hay
$[\sqrt{4y^2-2y-3}-(2y-1)]+[\sqrt{y-1}-1]=0$,
hay
$\frac{2(y-2)}{\sqrt{4y^2-2y-3}+2y-1}+\frac{y-2}{\sqrt{y-1}+1}=0$,
suy ra $y=2$ và $x=5$.
Kiểm tra và thấy $(x;y)=(5;2)$ thỏa mãn điều kiện phương trình.
Thành thử hệ đã cho có nghiệm duy nhất, đó là $(x;y)=(5;2)$.