Viết lại hệ đã cho:\begin{cases}\sqrt{x}+\sqrt{y}+\sqrt{2x-y}=\frac{3}{2} \\ (x+1)(y+1)(2x-y+1)=\frac{125}{64} \end{cases}
Đặt $\sqrt{x}=a(a\geq0);\sqrt{y}=b(b\geq 0);\sqrt{2x-y}=c(c\geq 0)$
Ta đi chứng minh $(a^2+1)(b^2+1)(c^2+1)\geq \frac{125}{64}$ với $a+b+c=\frac{3}{2}$
Ý tưởng là dồn biến về trung bình cộng:
$f(a,b,c)-f(a,t,t)=(a^2+1)(b-c)^2[8-(b+c)^2-4bc]$(1) trong đó $t=\frac{b+c}{2}$
Do $(b+c)^2+4bc\leq 2(b+c)^2<8$ vậy (1) không âm.
Vậy ta phải chứng minh $f(a,t,t)\geq \frac{125}{64}$
Dấu bằng xảy ra khi $x=y=\frac{1}{4}$