$\begin{cases}x^{2}y^{2}+2y^{2}+16=11xy \\ x^{2}+2y^{2}+12y=3xy^{2} \end{cases}$ $\Leftrightarrow \begin{cases}2y^{2}=11xy -x^2y^2-16\\ x^{2}+2y^{2}+12y=3xy^{2} \end{cases}$
Thế (1) vào (2) $\Rightarrow x^2+11xy-x^2y^2-16+12y-3xy^2=0$
$\Leftrightarrow x^2y^2+3xy^2-11xy-12y-x^2+16=0$
$\Leftrightarrow (x^2y^2-x^2y-4xy)+(3xy^2-3xy-12y)+(x^2y-xy-4x)+(-4xy+4x+16)=0$
$\Leftrightarrow(xy-x-4)(xy+x+3y-4)=0$
TH1 $xy=x+4$, thế vào (2)
$\Rightarrow x^2+2y^2+12y=3y(x+4)\Leftrightarrow x^2-3xy+2y^2=0\Leftrightarrow \left[ {\begin{matrix} x=y\\x=2y \end{matrix}} \right.$
Với $x=y$ thế vào (1)
$\Rightarrow x^4-9x^2+16=0$ (vô nghiệm)
Với $x=2y$, thế vào (2)
$\Rightarrow 6y^3-6y^2-12y=0=0\Leftrightarrow \left[ {\begin{matrix} y=-1\\ y= 2\\y=0\end{matrix}} \right.$
suy ra $x$ rồi thử lại vào Hệ, ta đc 2 nghiệm \begin{cases}x=4 \\ y=2 \end{cases} và \begin{cases}x=-2 \\ y=-1 \end{cases}
TH2 $xy=4-x-3y$ thế vào (2)
$x^2+2y^2+12y=3y(4-x-3y)\Leftrightarrow x^2-3xy+11y^2=0\Leftrightarrow \begin{cases}x=0 \\ y=0 \end{cases}$ thử lại ta thấy khong phải nghiệm của hệ