Điều kiện $x\neq0,x\geq -3,y>0$. Kí hiệu (1) và (2) là phương trình đầu và cuối của hệ. Khi đó có
(1) $\Leftrightarrow (2x^2 + y)^2 = 3xy(x+\sqrt{y})$
$\Leftrightarrow 4x^4+x^2y-3xy\sqrt{y}+y^2=0$
$\Leftrightarrow 4(\frac{x}{\sqrt{y}})^4+(\frac{x}{\sqrt{y}})^2-3(\frac{x}{\sqrt{y}})-1=0$
$\Leftrightarrow (\frac{2x}{\sqrt{y}}-1)^2[(\frac{x}{\sqrt{y}})^2+\frac{x}{\sqrt{y}}+1]=0$
$\Leftrightarrow \frac{x}{\sqrt{y}}=\frac{1}{2}$.
Suy ra $x>0$ và $y = 4x^2 $ (3).
Từ kết quả (3) suy ra
(2) $\Leftrightarrow 8x = \sqrt{2x+6}-4x^2$
$\Leftrightarrow 4x^2+8x = \sqrt{2x+6}$
$\Leftrightarrow (2x+2)^2-4=\sqrt{2x+6}$
$\Leftrightarrow [(2x+2)^2-(2x+6)]+[(2x+2)-\sqrt{2x+6}]=0$
$\Leftrightarrow [2x+2-\sqrt{2x+6}][2x+2+\sqrt{2x+6}+1]=0$
$\Leftrightarrow 2x+2-\sqrt{2x+6}=0$ (vì $x>0$ nên $2x+2+\sqrt{2x+6}+1>0$)
$\Leftrightarrow 2x+2=\sqrt{2x+6}$
$\Leftrightarrow 2x^2+3x-1=0$
$\Leftrightarrow x=\frac{-3+\sqrt{17}}{4}\vee x=\frac{-3-\sqrt{17}}{4}$.
Vì $x>0$ nên chỉ lấy $x=\frac{-3+\sqrt{17}}{4}$, suy ra $y=\frac{13-3\sqrt{17}}{2}$. Các giá trị này thỏa mãn điều kiện hệ phương trình.