こういうクラス設計をしてテストで private メソッドが使えないという事態に陥った事は無いだろうか?

これは設計があまり良くなくて異なる機能を 1 つのクラスに詰め込んでしまっているのがいけない。この事を海に半分埋まっている事に例えて「氷山クラス」と言う。さて、Single Responsibility Principle に従ってクラスを整理すると下記の様になる。

テストは Tokenizer のテストをすれば良い。Tokenizer を利用者に対して完全に隠すなら pImpl パターンで RuleEvaluater を実装しないといけないが。

Single Responsibility Principle に従うと当然クラス数は増えてそのデメリットは IDE 上でコードを追うのにジャンプが増える。まぁそれだけの話でテスタビリティが向上するという様に明らかにメンテナンス性が向上するのでそちらの利の方が多きいと考えるのが普通。

参考: