ユーザーさんには全く影響ないと思いますが、
robots.txtの配信システムにキャッシュの日時比較の不等号が逆になっている箇所があり、
本来キャッシュが有効でHTTP 304になる場合も、常に内部処理が行われてHTTP 200になっていました。

現在はキャッシュが有効なら304になります。