ĐKXĐ :$x-2y+1\geq 0$hệ tương đương với $\begin{cases}4y^{2}+4y\sqrt{y^{2}+1}+2=2(2x-4y+2) \\ x^{2}-2x+3+(x-1)\sqrt{x^{2}-2x+5}=2(2x-4y+2) \end{cases}$
$\Rightarrow x^{2}-2x+3+(x-1)\sqrt{x^{2}-2x+5}=4y^{2}+4y\sqrt{y^{2}+1}+2$
$\Leftrightarrow (x-1)^{2}+(x-1)\sqrt{(x-1)^{2}+4}=(2y)^{2}+(2y)\sqrt{(2y)^{2}+4}$
đặt $f(t)=t^{2}+t\sqrt{t^{2}+1}$ $D=R$
$f'(t)=2t+ \sqrt{t^{2}+1}+\frac{t^{2}}{\sqrt{t^{2}+1}}=\frac{t^{2}+1+2t\sqrt{t^{2}+1}+t^{2}}{\sqrt{t^{2}+1}}=\frac{(\sqrt{t^{2}+1}+t)^{2}}{\sqrt{t^{2}+1}}>0\forall t$
do đó $f(t)$ đồng biến. mà $f(x-1)=f(2y)$. từ đó suy ra $y=\frac{x-1}{2}$ thay vào pt (2) của hệ ta được
$x+\sqrt{x^{2}-2x+5}=5 (*)$
với $x\leq 5$ (*) tương đương với $x^{2}-2x+5=(5-x)^{2}$
$\Leftrightarrow 8x=20\Leftrightarrow x=\frac{5}{2} (tm)\Rightarrow y=\frac{1}{4}$
vậy hệ có nghiệm duy nhất $(x;y)=(\frac{5}{2};\frac{1}{4})$