Điều kiện của hệ là x≥−1, y≥0, y≥x.Kí hiệu (1) và (2) lần lượt là phương trình đầu và cuối của hệ.
Khi đó (1) tương đương với (√y−x−1)+(x+1)(y−2)−(x+1)(x−1)=0,
hay y−x−1√y−x+1+(x+1)(y−x−1)=0,
hay (y−x−1)(1√y−x+1+x+1)=0 (3).
Vì x≥−1 và y≥x nên 1√y−x+1+x+1>0. Do đó (3) tương đương với y−x−1=0, hay x=y−1 (4).
Từ (4) cho thấy (2) tương đương với (y−1)(y2−10)(√y+3)=y(y−1)(y−1+6√y),
hay (y−1)(y2√y+2y2−6y√y+y−10√y−30)=0,
hay (y−1)(y−√y−3)(y√y+3y+10)=0 (5).
Vì y√y+3y+10>0 nên (5) tương đương với (y−1)(y−√y−3)=0. Giải phương trình này và được y=1∨y=7+√132; suy ra x=0∨x=5+√132. Các giá trị này đều thỏa mãn điều kiện của hệ phương trình.
Vậy, hệ đã cho có hai nghiệm, đó là (x;y)=(0;1) hoặc (x;y)=(5+√132;7+√132).