Cách hơi cùn, tính toán nhiều kiểm tra lại giùm nhé
Không mất tính tổng quát, giả sử $\min \{a,b,c\} =c$
Trên $\rm OA,OB$ lấy $\rm A',B'$ sao cho $\rm OA'=OB'=c$
Khi đó ta có đẳng thức $\mathrm{ \frac{V_{OA'B'C}}{V_{OABC}}= \frac{OA'}{OA}.\frac{OB'}{OB}}=\frac{c^2}{ab}$
$\Rightarrow \mathrm{V_{OABC}}=\frac{ab}{c^2}.\mathrm{V_{OA'B'C}}$
Dễ thấy $\rm OA'B'C$ là tứ diện đều. Gọi $\rm I$ là tâm của $\triangle\rm A'B'C$ đều, kẻ $\rm CH\perp A'B$
Áp dụng định lí cosin trong $\triangle \rm OA'B'$, ta có $\rm A'B'^2=OA'^2+OB'^2-2OA'OB'.\cos \alpha$
$\Leftrightarrow \rm A'B'^2=2c^2(1-\cos \alpha)$
Ta có $\rm OI=\sqrt{OC^2-CI^2}=\sqrt{c^2-\frac{A'B'^2}{3}}=c\sqrt{\frac{1+2cos \alpha}3}$
$\Rightarrow \mathrm {V_{OA'B'C}=\frac 13OI.S_{A'B'C}=\frac 13OI.A'B'^2.\frac{\sqrt 3}{4}}=\frac{c^3(1-\cos \alpha)\sqrt{1+2\cos \alpha}}{6}$
$\Rightarrow \mathrm {V_{OABC}}=\frac{abc}{6}(1-\cos \alpha)\sqrt{1+2\cos \alpha} $
$=\frac{abc}{6}.\sqrt{(1-\cos \alpha)(1-\cos \alpha)(1+2\cos \alpha)}$
$\overset{\mathrm {AM-GM}}{\le } \frac{abc}{6}.\sqrt{\left(\frac{1-\cos \alpha+1-\cos \alpha+1+2\cos \alpha}{3}\right)^3}=\frac{abc}{6}$
Khi $\alpha=\frac{\pi}{2}$ thì thể tích đạt giá trị lớn nhất là $\frac{abc}{6}$