If $A=\frac{1}{3}\begin{bmatrix}1&2&2\\2&1&-2\\a&2&b\end{bmatrix}$ is an orthogonal matrix, then

$a=-2,b=-1$

Since A is an orthogonal matrix.

$∴AA^T = I$

$⇒\frac{1}{3}\begin{bmatrix}1&2&2\\2&1&-2\\a&2&b\end{bmatrix}.\frac{1}{3}\begin{bmatrix}1&2&a\\2&1&2\\2&-2&b\end{bmatrix}=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}$

$⇒\frac{1}{9}\begin{bmatrix}1&2&2\\2&1&-2\\a&2&b\end{bmatrix}\begin{bmatrix}1&2&a\\2&1&2\\2&-2&b\end{bmatrix}=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}$

$⇒\begin{bmatrix}9&0&a+4+2b\\0&9&2a+2-2b\\a+4+2b&2a+2-2b&a^2+4+b^2\end{bmatrix}=\begin{bmatrix}9&0&0\\0&9&0\\0&0&9\end{bmatrix}$

$⇒a+4+2b=0, 2a+2-2b=0$ and $a^2+4+b^2 = 9$

$⇒a+2b+4=0, a-b+1=0$ and $a^2 + b^2=5$

$⇒a=-2, b=-1$