Để phương trình đã cho có hai nghiệm $x_1,x_2$ thỏa mãn điều kiện $x_1^2+x_2^2=11$ thì tham số $m$ phải thỏa mãn hệ:
$\begin{cases}\Delta>0 \\x_1+x_2=\frac{3}{m}\\x_1.x_2=\frac{1-2m}{m} \\ x_1^2+x_2^2=11 \end{cases} \Leftrightarrow \begin{cases}8m^2-4m+9>0 (1)\\x_1+x_2=\frac{3}{m} (2)\\x_1.x_2=\frac{1-2m}{m} (3) \\ x_1^2+x_2^2=11 (4) \end{cases} $
Ta nhận thấy hệ thức (4) là một hệ thức đối xứng đối với hai nghiệm $x_1, x_2$. Ta tìm cách biểu diễn hệ thức (4) theo hệ tổng $S=x_1+x_2$ và tích $P=x_1x_2$ của các nghiệm. Dễ thấy:
$x_1^2+x_2^2=(x_1+x_2)^2-2.x_1x_2 \Rightarrow x_1^2+x_2^2=S^2-2P$.
Như vậy, (4) trở thành: $S^2-2P=11$.
Kết hợp với (2) và (3) ta có: $(\frac{3}{m})^2-2.\frac{1-2m}{m}=11 (m \neq 0) $
$\Leftrightarrow 7m^2+2m-9=0$
$\Leftrightarrow \left[ {\begin{matrix}m_1=1\\m_2=-\frac{9}{7} \end{matrix}} \right. $.
+ Với $m_1=1$ thì biệt thức $\Delta =8m^2-4m+9 $ nhận giá trị: $\Delta=8-4+9=13>0 $
+ Với $m_2=-\frac{9}{7} $ thì $\Delta =8.(-\frac{9}{7} )^2-4.(-\frac{9}{7} )+9 >0 $
Vậy cả hai giá trị $m_1=1$ và $m_2=-\frac{9}{7} $ đều thỏa mãn điều kiện $\Delta >0$.
Kết quả: Để hai nghiệm của phương trình đã cho thỏa mãn điều kiện $x_1^2+x_2^2=11$ thì $m=1$ hoặc $m=-\frac{9}{7} $