Xét khai triển:
$(x^2+1)^n=\sum_{k=0}^nC^k_n(x^2)^{n-k}=C^0_nx^{2n}+C^1_nx^{2n-2}+C^2_nx^{2n-4}+…+C^n_n$
$(x+2)^n=\sum_{k=0}^nC^k_nx^{n-k}2^k=C^0_nx^n+2C^1_nx^{n-1}+2^2C^2_nx^{n-2}+2^3C^3_nx^{n-3}+…$
$+2^nC^n_n$
$x^{3n-3}=x^{2n}x^{n-3}=x^{2n-2}x^{n-1}$
Hệ số
$a_{3n-3}$ tương ứng với $x^{3n-3}$ trong khai triển $(x^2+1)^n(x+2)^n$ là:
$a_{3n-3}=C^0_n.2^3.C^3_n+C^1_n.2C^1_n=26n$
$\Leftrightarrow 8.\frac{n!}{0!n!}.\frac{n!}{3!(n-3)!}+2.\frac{n!}{1!(n-1)!}.\frac{n!}{1!(n-1)!}=26n$
$\Leftrightarrow
2n^2-3n-35=0 \Leftrightarrow \left[ \begin{array}{l}n = 5\\n = -\frac{7}{2}\end{array} \right. \Rightarrow n=5$
Vậy chỉ có n=5 thoả mãn đề bài.