Điều kiện xác định: $x^2y+xy-5 \ge 0.$
Ta có:
$\pi.$ $y=0$ không phải là nghiệm của hệ
$\pi.$ Xét $y \ne 0,$ ta có:
$xy^2(\sqrt{x^2+1}+1)=3\sqrt{y^2+9}+3y$
$\Leftrightarrow x\sqrt{x^2+1}+x=\frac{3}{y}\sqrt{(\frac{3}{y})^2+1}+\frac{3}{y}$ $(\bigstar)$
Xét hàm $f(t)=t\sqrt{t^2+1}+t,(t \in \mathbb R)$ dễ thấy $f(t)$ đồng biến trên $\mathbb R.$
Do đó: $(\bigstar)\Leftrightarrow x=\frac{3}{y}\Leftrightarrow xy=3.$
Thay vào phương trình $(2)$ của hệ, ta được:
$(2)\Leftrightarrow (3x-1)\sqrt{3x-2}-4x^3+9x^2-7x=0 $ $(x \ge \frac{2}{3}.)$
$\Leftrightarrow 4x(x^2-3x+2)+(3x-1)(x-\sqrt{3x-2})=0$
$\Leftrightarrow (x^2-3x+2)\underbrace{(4x+\frac{3x-1}{x+\sqrt{3x-2}})}_{>0,\forall x \ge \frac{2}{3}}=0$ (vì $x \ge \frac{2}{3}$ nên $x+\sqrt{3x-2}>0)$
$\Leftrightarrow x^2-3x+2=0$
$\Leftrightarrow \left[ \begin{array}{l} x=1\Rightarrow y=3\\ x=2\Rightarrow y=\frac{3}{2}\end{array} \right.$
Kết luận: $\color{red}{(x;y)=(1;3)}$ hoặc $\color{red}{(x;y)=(2;\frac{3}{2})}.$