Điều kiện: $x\geq 1.$
Ta thấy $x=1$ không thoả mãn PT (2) $\Rightarrow x>1.$ Từ PT(2), ta có: $y>1.$
Ta có: $x^3+y^3\geq \frac{(x+y)^3}{4}$
$xy\sqrt{2(x^2+y^2)}= \sqrt{xy.2xy(x^2+y^2)}\leq \sqrt{\frac{(x+y)^2}{4}.\frac{(x+y)^4}{4}}=\frac{(x+y)^3}{4}.$
Do đó: $(1)\Leftrightarrow x=y.$
Thay vào PT (2), ta được:
$4\sqrt{x+\sqrt{x^2-1}}=9(x-1)\sqrt{2x-2}.$
$\Leftrightarrow \sqrt{\frac{x+\sqrt{x^2-1}}{2x-2}}=\frac{9(x-1)}{4}$
$\Leftrightarrow \frac{x+\sqrt{x^2-1}}{x-1}=\frac{81(x-1)^2}{8}$ $(*)$
Xét $f(x)= \frac{x+\sqrt{x^2-1}}{x-1} ;g(x)=\frac{81(x-1)^2}{8} ;x>1,$ ta có:
$f(x)$ nghịch biến, $g(x)$ đồng biến trên khoảng $(1;+\infty ).$
Do đó: PT (*) có nhiều nhất 1 nghiệm trên khoảng $(1;+\infty ).$
Mặt khác: $f(\frac{5}{3})=g(\frac{5}{3})\Rightarrow x=\frac{5}{3}\Rightarrow y=\frac{5}{3} .$
Vậy: $(x;y)=(\frac{5}{3};\frac{5}{3} )$