Intelのパフォーマンス戦略チームが意図的に誤解を招くベンチマーク記事を公開したと批判される 36
ストーリー by hylom
たびたび突っ込まれるIntelのベンチマーク結果 部門より
たびたび突っ込まれるIntelのベンチマーク結果 部門より
Anonymous Coward曰く、
Intelが意図的に誤解を招くベンチマーク記事を公開したと批判されている。記事はMediumに掲載されたもので、著者はIntelのパフォーマンス・ディレクターのスティーブン・コリンズ氏。
Intelは、Intel Xeon Platinum 9282のデュアルCPUシステムとAMD EPYC 7742と比較した一連のベンチマークを公開した。具体的には、IntelがAMDよりも優れたパフォーマンスを発揮することを示すもので、テスト結果の1つであるGROMACSの数値を強調している。この結果を強調した理由は、XeonがEPYCよりも20％高速であることを示す結果が出ているためだ。
批判の主なポイントとしては、テストに使用されたGROMACSのバージョンは、2019年6月14日にリリースされた「2019.3」だった。その後、GROMACSチームは2019年10月2日に、AMD用の拡張命令AVX2を検出する機能を持つ「GROMACS 2019.4」をリリースしている。GROMACS 2019.3でAVX2を使用すると、AMD EPYCが不利になるというものだ。記事の公開が11月であったことから、意図的ではないかという指摘をしている。
記事を更新したではこうした批判を受けて記事は更新され、GROMACS 2019.4の更新バージョンによるテスト結果が追加された。それによれば、5つのGROMACSのパフォーマンス平均値に実質的な違いは見つからなかった。2019.4の結果は、以前の2019.3の結果と一致していると主張している（STH、Slashdot）。
もうちょっと考えて書こうよ (スコア:0)
> GROMACS 2019.3でAVX2を使用すると、AMD EPYCが不利になるというものだ。
GROMACS 2019.3でAVX2を使用するベンチマークを実行すると、AMD EPYCのスコアが低くなり不利となる。
とか
GROMACS 2019.3ではAMDの拡張命令AVX2に対応していないため、AMD EPYCが不利になるというものだ。
とか
最初の文だと使うけど不利になるって読めるんだけど前後を読むと検出してないから
古いVerだと使われないってことでしょ？
Re: (スコア:0)
記事を更新するではこうした批判を受けて記事は更新される。
結論：ベンチマーク記事は正しかった (スコア:0)
まとめると
- IntelはベンチマークでAMDが不利になるような小細工をしているとクレームがついた
- ベンチマーク取り直したけど、やっぱりIntelのほうが速かった
(ベンチマークの結果に実質的な違いは無かった)
- 間違っていたのは元記事ではなくて批判の方
ってことですね
Re:結論：ベンチマーク記事は正しかった (スコア:1)
こちらの記事によると、GROMACSのバージョンが古いだけでなく
https://semiaccurate.com/2019/11/05/intel-messaging-hits-a-new-low/ [semiaccurate.com]
・古いLinuxカーネルを使用
・コンパイラの最適化解除
・スレッド数を減らしたAMDボックス
・PCIe4をサポートしない古いマザーボード
等を駆使してXeonの優位性を作り出したとされているね
Re: (スコア:0)
ベンチマークソフトはIntel CCでコンパイルしたものだったらしい…
Re: (スコア:0)
あくまで個人的な経験でしかないですが，Intelコンパイラよかgcc(6以降)使ったほうがGromacsは速度出る傾向...
Re: (スコア:0)
Intel>AMD
Re: (スコア:0)
そもそも価格帯でも下位のAMD CPUにIntel最適化したアプリを食わせて互角に持ち込んだという話のようだけど
「間違っていたのは批判の方」とまで言い切れる自信はどこから来るのやら
妄想?
Re: (スコア:0)
> Intelが意図的に誤解を招くベンチマーク記事を公開した
という批判は、新バージョンでも性能評価が同じだったことから、間違いと証明された。
批判者は「違う結果になる性能評価方法が存在するのに、古いベンチを出した」ことを証明しなきゃならん。
小細工をしてるかどうかは知らんけどね。
「バレなきゃ（ｒｙ」
Re: (スコア:0)
「同じだったと主張している」 =/= 「客観的に言って同じ」
Re: (スコア:0)
今回のが意図的だったのかタイミングの問題なのかたまたま最新を使っていなかっただけなのかはわからない。
結果的に依然として性能差はあったのだけど、
あえて競合が不利になるような古いバージョンを使っていた可能性があると公平な評価とは言えないですし、
そのような条件で優っていると言うベンダの信頼は落ちますよね。
とは言え新しい命令や個別の最適化を否定すると機能的な進歩や部品の個性を否定することになるし、どこまで公平にするのかは悩ましいですよね。
400WのCPUと240WのCPUを比べて、しかも225Wに制限をかけた (スコア:0)
> Many of our readers rightly noted that Intel is using its software stack, and it is comparing a 400W
> TDP CPU versus the default 225W configurable TDP of a competitor.
https://www.servethehome.com/update-to-the-intel-xeon-platinum-9282-gr... [servethehome.com]
しかも最適化したバージョンを使ってようやく勝ったと
最近のIntelは電力効率の悪さが異常に際立つなぁ
Re: (スコア:0)
400Wかぁ。電気ストーブの弱モードと同じだよね。
Re: (スコア:0)
しかもそれで意図的に性能が出ないバージョンを使った疑惑が出るとは
実際の性能はどれほどやらという話だな
Re: (スコア:0)
不正ベンチだとイキった結果がこれとはいやはや
Re: (スコア:0)
400Wのインテル対225WのAMDで勝負は「Intelが20%の勝ち」
そこに「インテル向けチューニングをした結果の勝利だ」と物言いが付いた
普通はそれ「消費電力比ダブルスコアでAMDの勝利」って言うよなあ
しかもそのチート結果を公開したのはインテルの広報担当
目も当てられないとはこのことだな
Re: (スコア:0)
インテルの方が400Wやぞ
Re: (スコア:0)
マイニングするかわりに、それで発生する熱を暖房器具として提供するPCのリースみたいなのあったよね。
インテルも認めるAMD EPYCのパフォーマンス/ワット！ (スコア:0)
インテルが調べた結果によるとトータルパフォーマンスではXEONが上だったが、モダンデータセンターで求められる消費電力の軽減にEPYCが有利というデータになっています。って、AMDのエバンジェリストが解説するんですね。
Re: (スコア:0)
Intel Xeon Platinum 9282の価格は公表はされてないけど、1個1万ドルの8280を2個くっつけた構成なので、2万ドル以下にはならないでしょう。
対するAMD EPYC 7742は7000ドルなので値段1/3ですね。
イニシャルコストも、ランニングコストである電力もどちらも2倍差あるとすると、インテルはどうやって戦うんだろうか。
Re: (スコア:0)
ジサトライッペイ(仮名)に売りつけて「800Wの電気ストーブ最高」って言わせるんですよ。
Re: (スコア:0)
でもこいつもアイドルマスターかもしれんから、アイドル大好きな連中には受けるかもしらんぞ？
Re: (スコア:0)
どうやってって、周りも巻き込んで拡大してきた実績ばかりですが。
とりあえず「CPUを売る」という命題に従えば、それに見合った電源供給が必要で
それに見合った電源の規格を増やしますよね。それを受け止めるマザーも
自ずと使用する部品単価が上がりますし、冷やすためのクーラーも大きくなります。
コンピュータコンポーネントのあらゆる部分で、確実な価格の底上げと
規格の刷新に依る競合のブロックで利益を全体で確保して、且つ古い規格を
一定期間ごとに切り捨てる事で、買い替えのサイクルもコントロールできます。
更にはそのサーバーを収める先の環境に関しても、より大きな電力消費と
排熱量などの基準が上がることで、仕事はどんどん増えていく仕組みです。
それらの恩恵に預かる立場の人や業者は、インテル様様なのです。
Re: (スコア:0)
しかもこれ、2Socketで比較してるんでしょう？
800W 対 450Wの戦い。
1SocketのXeonと2SocketのEPYCで比較して丁度良い位では？
Re: (スコア:0)
まじかよ。いつの間にワッパのAMDになったの？
Sandyを使い続けている俺、ウラシマンの気分。
Re: (スコア:0)
冷却が追い付かずに焼き鳥になった時代が懐かしい
14nmで引っ張っている以上、ベンチに怪しさがでるのは仕方ないよね (スコア:0)
まあ、儲かってんだから、ノートとデータセンター方向で生きてけばいいかもしれない。HEDTとかはとっととファブレス化しちゃえばいいのにね。
https://topics.smt.docomo.ne.jp/article/bloomberg/business/bloomberg-P... [docomo.ne.jp]
どうして (スコア:0)
どうしてAMDは適切な条件でやればウチのCPUのほうが速かったです！
という記事を出さないんだろう？
# Intelが昔からうさん臭いことをやらかし続けているのは知っているが
# AMDはアホな子なのかな？
Re:どうして (スコア:2)
そもそもコンシューマ製品でもなければ，一般ビジネス用でもないので，
実際の顧客へ直に営業行けばいいだけの話。
実際に，IAサーバ市場で，EPYCが使われるようになったのだって，
それなりの営業努力があってのことでしょうしね。
Intelのソレは，客層以外に「Intel，負けてない！」と言うだけの，
涙ぐましいパブリシティなのかもしれない。
まあこの手の広報は言い続ないと負けだから，
筋が悪くても，ホントにすごいヤツが出るまで虚勢を張り続けるしかない。
Re: (スコア:0)
EPYC 7742採用の機種はいろんなベンダーから発表されてるけど、Xeon 9282はどこの誰が売ってくれるのかすら分からない。
これで真面目に対抗する必要はないよね。
Re: (スコア:0)
物が無いから。
Re: (スコア:0)
インテルは最新試作CPUをわざわざ送ってくれないし、勝ってるのに勝利宣言する必要もないでしょ。
Re: (スコア:0)
第一世代EPYCの発表会ゲストが寂しい感じだったが
https://www.4gamer.net/games/380/G038060/20170621115/ [4gamer.net]
第二世代EPUCの発表会ではGoogle、MS、Lenovo、DELL EMC、HPE、VMware等の豪華ゲスト登場
https://cloud.watch.impress.co.jp/docs/special/1201212.html [impress.co.jp]
この辺が業界内でのEPYCの評判を反映していると思われ、このIntelのブログ程度で業界を思想調整できるとは思えない
Re: (スコア:0)
ゲストはわからないけど、HP, DELL, Lenovoは第1回でもハードは用意してたみたいだけどね
どうして (スコア:0)
いつも他社ロゴを使うのでしょうか…
Re: (スコア:0)
かっこいいから