YSSベンチは何故駄目なのか

将棋ソフトに適したマシンを探る指針としてYSSベンチ(→ http://www32.ocn.ne.jp/~yss/bench.html )は長らく利用されてきました。

しかし、いまや新しいデータを投稿する人すらほとんどいません。コンピュータ将棋関係者ですらほとんどの人はスコアを投稿していないのが現状です。

いまどきスコアをメールで送るというのがわずらわしいというのはありますが、それを度外視したとしても、YSSベンチには駄目な理由があります。

まず、私の普段使っているマシン(Core 2 Duo 2.8GHz)でYSSベンチを動作させると7.6秒でした。overclockをしていない人の上位スコアを見ると次のようになっています。

Core i7 860 2.8 GHz 5.7秒 BIOSでコア2個に制限
Core i7 940 2.93GHz 6.2秒
Xeon X5492 3.4 GHz 6.3秒

Core i7 860はTurbo Boostの結果なので実際は3.33GHzで動作していると考えるべきで、そう考えるとCore 2 DuoとCore i7 860とは同クロックならば15%ほどしか差が無いということになります。しかもXeon X5492(現在CPU単体、最安\178,980。W5590よりも値段は高い)ともほとんど差がありません。

果たして、この結果は信じるに値するのでしょうか？

YSSベンチはディフォルトではハッシュ(置換表)は32MBに設定されています。32MBのハッシュだと、実際にアクセスするのは数MB程度でしょうから、いまどきのパソコンではL2/L3 cacheにまるごと収まります。そう考えるとメモリアクセス性能などは完全に無視されてしまい、コンピュータ将棋ソフトとしては現実的なベンチマークではなくなります。

おそらくYSSベンチが公開されたころには、パソコンの搭載メモリは少なく、ハッシュに500MBとか1GBとか確保するのは現実的ではなかったのだと思いますが、いまやハッシュ32MBでは小さすぎます。

実際、DDR2-800ベースのCore 2 Duoマシンと、トリプルチャンネル1333MHzのCore i7とではメモリのピーク性能は2倍以上違います。この差がハッシュ32MBだと全然出てこないので、このベンチマークからはXeon W5590がどれくらい速いのか(遅いのか)想像もつきません。

また、シングルコアでの測定なので、8コアマシンでも1コア性能で評価されてしまいます。100万円ぐらい出して買ったXeon W5590×Dualマシンが、20万円で買えるCore i7 860と同じぐらいのスコアしか出なければ投稿する気にもならないのではないでしょうか。

では、YSSベンチマークにハッシュを1GBぐらいにした部門や、マルチコア部門を用意すればいいのかというと、さすがにいまさらな感じもします。整数による数値計算系のソフトで、かつ、大きなメモリにランダムアクセスを適度にするような有名なベンチマークがあれば指針としてちょうど良いのですが・・。