二面体群の思いつき方
実際は二面体群の適用をいきなり思いついたわけではありません。実は後付けの知識です。
そもそもの発想としては、白オセロを3つ並べてたら元に戻るもの、黒オセロを2つ並べたら元に戻るものに対応させてみようということで、一番単純なのが平面図形の120度回転と軸反転なので、それらに行列を対応させてみます。
すなわち回転行列 A および反転行列 B を
A = \begin{pmatrix}
\cos \frac{2\pi}3 & -\sin \frac{2 \pi}3 \\
\sin \frac{2 \pi}3 & \cos \frac{2 \pi}3 \\
\end{pmatrix}
,
B = \begin{pmatrix}
1 & 0 \\
0 & -1 \\
\end{pmatrix}と定義し、白オセロに A を、黒オセロに B を対応させます。
B を180度回転行列ではなく反転行列にしたのは、操作2の非可換性すなわち
操作2(●-〇)≠操作2(〇-●)
から、 A と B も非可換なほうがよいだろうと考えたためですが（あと、行列を使った解法である史上最大の難問 東大後期1998-問3でもそうチョイスしていたし）、結果的にこれが大当たりでした。
次に、オセロ石を行列 A,B に置き換えた状態で操作2がどう表現されるかを調べます。何か計算しやすい一定の法則性が見つかればいいなと期待していましたが、ここで
BAB = A2
が成り立つことに、実際に行列計算してみて気が付きました。
これは大発見です。オセロ石を行列 A,B に、オセロ列を行列積に対応させたとき、その計算結果は操作2によって変わらないということは、行列積そのものが不変量関数だったということです。
そういうわけで、本問を解くにあたって二面体群は必須というわけではなく、
a^3=b^2=e,bab = a^2
を満たす何かにオセロ石を対応させることがキモです。
しかし二面体群というものをあらかじめ知っていれば、もっとお手軽に解答にたどり着けたことでしょう。