Vì $x=0$ không là nghiệm của hệ, chia cả 2 vế cho $x^2$ ta được:
$\left\{\begin{array}{l}6(x^2+\dfrac{1}{x^2})-(x-\dfrac{1}{x})y^2-y=12\\5(x^2+\dfrac{1}{x^2})-(x-\dfrac{1}{x})^2y^2=11\end{array}\right.$
Đặt: $z=x-\dfrac{1}{x}$, hệ trở thành:
$\left\{\begin{array}{l}6(z^2+2)-zy^2-y=12\\5z^2-z^2y^2=11\end{array}\right.$
$\Leftrightarrow \left\{\begin{array}{l}6z^2-zy^2-y=0\\5z^2-z^2y^2=1\end{array}\right.$
Vì $z=0$ không là nghiệm của hệ nên chia cả 2 vế cho $z^2$ ta được:
$\left\{\begin{array}{l}\dfrac{y^2}{z}+\dfrac{y}{z^2}=6\\y^2+\dfrac{1}{z^2}=5\end{array}\right.$
$\Leftrightarrow \left\{\begin{array}{l}\dfrac{y}{z}(y+\dfrac{1}{z})=6\\(y+\dfrac{1}{z})^2-2\dfrac{y}{z}=5\end{array}\right.$
Đặt: $u=y+\dfrac{1}{z};v=\dfrac{y}{z}$
Ta có: $\left\{\begin{array}{l}uv=6\\u^2-2v=5\end{array}\right.$
$\Leftrightarrow \left\{\begin{array}{l}uv=6\\u^3-12=5u\end{array}\right.$
$\Leftrightarrow \left\{\begin{array}{l}u=3\\v=2\end{array}\right.$
Từ đó suy ra: $\left[\begin{array}{l}\left\{\begin{array}{l}y=2\\z=1\end{array}\right.\\\left\{\begin{array}{l}y=1\\z=\dfrac{1}{2}\end{array}\right.\end{array}\right.$
Dẫn tới: $(x;y)\in\{(\dfrac{1\pm\sqrt5}{2};2);(\dfrac{1\pm\sqrt{17}}{4};1)\}$