Xét: $f(x)=\tan x-x,x\in (-\frac{\pi}{2},\frac{\pi}{2}) $
$f'(x)=\frac{1}{\cos^{2}x}-1=\tan ^{2}x \geq 0$
$\Rightarrow f$ tăng trên $(-\frac{\pi}{2},\frac{\pi}{2})$
Vì vậy: $f(x)=f(y) (x,y\in (-\frac{\pi}{2},\frac{\pi}{2}))$
$\Leftrightarrow x=y$
Tức là: $\tan x-\tan y=x-y \Leftrightarrow x=y$
Vậy hệ: $\Leftrightarrow \begin{cases}x=y\in (-\frac{\pi}{2},\frac{\pi}{2}) \\ \cos x=\frac{\sqrt{3}}{2} \end{cases}$
$\Leftrightarrow x=y=\pm \frac{\pi}{6}$
Tóm lại hệ có nghiệm:
$(x,y)=(\frac{\pi}{6},\frac{\pi}{6});(-\frac{\pi}{6},-\frac{\pi}{6})$