3.Từ điều kiện suy ra $b^2(a-c)-ac(a-c)=0$, hay $(a-c)(b^2-ac)=0$. Vì $a\neq c$ nên $b^2-ac=0$, hay $b^2=ac$.
Giả sử $d$ là ước chung lớn nhất của $a$ và $c$.
Trường hợp $d>1$.
Khi đó $a^2+b^2+c^2=a^2+ac+c^2$ chia hết cho $d$ và $d^2$. Suy ra $a^2+b^2+c^2$ là hợp số.
Trường hợp $d=1$. Không mất tính tổnq quát khi coi $a>c$.
Vì $b^2=ac$ nên $a$ và $c$ cùng chính phương; suy ra $a=m^2$ và $c=n^2$ với $m,n$ là các số nguyên dương và $m>n$. Khi đó $a^2+b^2+c^2=(m^2+mn+n^2)(m^2-mn+n^2)$. Vì $m,n$ nguyên dương nên $m^2+mn+n^2>m^2-mn+n^2>1$. Suy ra $m^2+mn+n^2$ và $m^2-mn+n^2$ là hai ước khác nhau và cùng lớn hơn $1$ của $a^2+b^2+c^2$. Suy ra $a^2+b^2+c^2$ là hợp số.