Điều kiện của hệ phương trình là $x\geq \frac{1}{2}$.Biến đổi tương đương hệ phương trình này, ta được
$\begin{cases}y^3+3y^2+y+2(2x^2-11x+9)+3=(2x+1)\sqrt{2x-1} \\ 2x^2-11x+9=2y \end{cases}$
$\Leftrightarrow \begin{cases}y^3+3y^2+y+4y+3=(2x+1)\sqrt{2x-1} \\ 2x^2-11x+9=2y \end{cases}$
$\Leftrightarrow \begin{cases}(y+1)^3+2(y+1)=(\sqrt{2x-1})^3+2\sqrt{2x-1} \\ 2x^2-11x+9=2y \end{cases}$ $(*)$.
Xét hàm số $f(t)=t^3+2t,\forall t \in R$. Khi đó ta có $f'(t)=3t^2+2,\forall t \in R$.
Suy ra $f'(t)>0,\forall t \in R$. Điều này cho thấy hàm số $f$ đồng biến trên $R$.
Từ đó ta có
$(*)\Leftrightarrow \begin{cases}y+1=\sqrt{2x-1} \\ 2x^2-11x+9=2y \end{cases}$
$\Leftrightarrow \begin{cases}y\geq -1\\x=\frac{y^2+2y+2}{2} \\ 2x^2-11x+9=2y \end{cases}$
$\Leftrightarrow \begin{cases}y\geq -1\\x=\frac{y^2+2y+2}{2} \\2. (\frac{y^2+2y+2}{2})^2-11.(\frac{y^2+2y+2}{2})+9=2y \end{cases}$
$\Leftrightarrow \begin{cases}y\geq -1\\x=\frac{y^2+2y+2}{2} \\ y^4+4y^3-3y^2-18y=0 \end{cases}$
$\Leftrightarrow \begin{cases}y\geq -1\\x=\frac{y^2+2y+2}{2} \\ y=0\vee y=2\vee y=-3 \end{cases}$
$\Leftrightarrow\begin{cases}x=1 \\ y=0 \end{cases}\vee \begin{cases}x= 5\\ y=2 \end{cases}.$
Vậy, hệ đã cho có hai nghiệm phân biệt, đó là $(x;y)=(1;0)$, hoặc $(x;y)=(5;2)$.$