Hệ phương trình đã cho tương đương:
$$\begin{cases} xy(x+y+xy)(x+y)=30 \\ xy(x+y)+xy+x+y=11 \end{cases}$$
$ \Rightarrow xy(x+y),xy+x+y$ là nghiệm của phương trình:$t^2-11t+30=0 \Leftrightarrow \begin{bmatrix} t=5 \\ t=6 \end{bmatrix}$
Nếu:
$\begin{cases}xy(x+y)=6 \\ xy+x+y=5 \end{cases}\Rightarrow \begin{cases}xy=3 \\ x+y=2 \end{cases}$(vô nghiệm) hoặc $\begin{cases}xy=2 \\ x+y=3 \end{cases}\Rightarrow \begin{cases}x=1 \\ y=2 \end{cases}$ hoặc $\begin{cases}x=2 \\ y=1 \end{cases}$
Nếu:
$\begin{cases}xy(x+y)=5 \\ xy+x+y=6 \end{cases}\Rightarrow \begin{cases}xy=5 \\ x+y=1 \end{cases}$(vô nghiệm) hoặc $\begin{cases}xy=1 \\ x+y=5 \end{cases}\Rightarrow \begin{cases}x=\frac{5-\sqrt{21}}{2} \\ y=\frac{5+\sqrt{21}}{2} \end{cases}$ hoặc $\begin{cases}x=\frac{5+\sqrt{21}}{2} \\ y=\frac{5-\sqrt{21}}{2} \end{cases}$
Hệ phương trình đã cho có nghiệm:$(1,2);(2,1);(\frac{5-\sqrt{21}}{2},\frac{5+\sqrt{21}}{2});(\frac{5-\sqrt{21}}{2},\frac{5+\sqrt{21}}{2})$