+)$mcos^2x-msin2x-sin^2x+2=0\Leftrightarrow (m+2)cos^2x-2msinxcosx+sinx^2 =0 ,(1)$do cosx=0 không là nghiệm của phương trình (1) nên
$(1)\Leftrightarrow \frac{sin^2x}{cos^2x}-2m\frac{sinx}{cosx}+m+2=0\Leftrightarrow tan^2x-2mtanx+m+2=0,(2)$
dó $tanx=\frac{1}{2}$ không là nghiệm của phương trình (2) nên
$(2)\Leftrightarrow m=\frac{tan^2x+2}{2tanx-1}$
đặt $t=tanx, t\neq \frac{1}{2}$ theo t có $m=\frac{t^2+2}{2t-1}$
xét hàm số $f(t)=\frac{t^2+2}{2t-1}$ với $t\neq \frac{1}{2}$
$f^{'}(t)=\frac{2t^2-2t-4}{(2t-1)^2}=0\Leftrightarrow \left[ {} \right.\begin{matrix} t=2\\t=-1 \end{matrix}$
lập bảng biến thiên ta sẽ thấy $m\in (-\infty ;-1]\bigcup [2;+\infty )$
+)$cos2x-(2m+1)cosx+m+1=0\Leftrightarrow 2cos^2x-2(m+1)cosx+m+1=0$
do $x\in (\frac{\Pi }{2};\frac{3\Pi }{2})$ nên $cosx\in (-1;0)$
đặt t=cosx, $t\in (-1;0)$ theo t có
$2t^2-2(m+1)t+m+1=0\Leftrightarrow m=\frac{2t^2-2t+1}{2t-1}$
xét hàm số $f(t)=\frac{2t^2-2t+1}{2t-1}$ trên (-1;0)
$f^{'}t=1-\frac{1}{(2t-1)^2}>0 \forall t\in (-1;0)$
lập bảng biến thiên ta sẽ thấy $m\in (\frac{-5}{3};-1)$