a) Khi $O$ ở ngoài đoạn $AB$ thì hai vec-tơ $\overrightarrow{OA}, \overrightarrow{OB} $ cùng hướng và góc $(\overrightarrow{OA},\overrightarrow{OB} )=0^\circ$
$\cos (\overrightarrow{OA},\overrightarrow{OB} )=1 $ nên $\overrightarrow{OA}.\overrightarrow{OB}=ab $.
b) Khi $O$ nằm trong đoạn $AB$ thì $\overrightarrow{OA}, \overrightarrow{OB} $ ngược hướng và góc $(\overrightarrow{OA}, \overrightarrow{OB})=180^\circ $
$\cos (\overrightarrow{OA}, \overrightarrow{OB})=-1 $ nên $\overrightarrow{OA}. \overrightarrow{OB} =-ab $.