If |a-b|=10,|a|=8,|b|=6, then the angle between a and b is :

$|\vec{a}-\vec{b}|=10 \quad|\vec{a}|=8 \quad|\vec{b}|=6$

So  $(\vec{a}-\vec{b}) \cdot(\vec{a}-\vec{b})=\left|\vec{a}-b^2\right|^2$

$=|\vec{a}|^2-2 \vec{a} \cdot \vec{b}+|\vec{b}|^2=|\vec{a}-\vec{b}|^2$

$8^2-2|\vec{a}||\vec{b}| \cos \theta+6^2=10^2$

$8^2 - 2|\vec{a}||\vec{b}| \cos \theta=0 \Rightarrow \cos \theta=0$

$\theta=\frac{\pi}{2}$

Option: D