アカウント名:
パスワード:
前から思ってたんだけど。Intelは「スパコンにはE7使ってね」って言っているようなのだが、実際にはE5をたんと乗せてるものがほとんどだよね。っていうかE7出てこない
http://www.top500.org/lists/2015/11/ [top500.org]
素人的にはコアもたんとあるし、メモリもたくさんつめるし、コストの問題はHPCまで来りゃ些細なもんだろうし、こっちの方が有利な気がするんだが、どうして使われないのだろ?
大容量メモリの環境で、NUMAとかSMPで大量のコアがほしいという用途は、HPCではなく、基幹向けだからなあ。FUJITSU Server PRIMEQUESTとかXeon E7 v4を使っていたはず。TBクラスのオンメモリDBとかで、システムをぶん回す感じ。
HPCの場合、コストがかかりすぎるので、1つのノードにそんなに大規模なメモリとコア数を確保するのはナンセンスだ。
何故ナンセンスなんですか教えてクンで申し訳ないけど、ナンセンスって言葉じゃわかんないそんなに常識レベルの話なの?
得られる計算能力と総メモリ量とそこにかかるコストで単価を計算していくと、メインフレーム向けのE7よりコモディティ化したE5でクラスターを組むほうが安いからでしょ。
だから、HPCに占めるCPUの費用なんてたかが知れてるってのにそんな僅かな金額差を節約するために、TOP500にE7が一個もない状況になるの?
元コメで挙げられているメリットのコア数もメモリ容量も、そのレベルだとE5に対するメリットとならないからでしょ。同じ計算能力とメモリ容量にしたE7メインフレームとE5クラスターでE7のメリットが何かを挙げないと。要求する計算能力とメモリ容量がE5ではクラスタ組んでも無理とかならともかく。
CPUの数を減らせる!ってだけかなー、と。
おいおい、Xeon E5とXeon E7では同じコア数でも1個当たり10万ぐらい違うこともあるぞ。同じコア数ならXeon E7を1個よりXeon E5を2個の方が経済的だってだけだ。
おじいちゃんみんな、自作の組立パソコンの話をしているじゃないんです
総合的なシステムに占めるCPUの比率が低いから、そんな単純な理由で選択するわけがない部分の話をしているんですよ。お金じゃなくて技術の話をしているんだから、邪魔しちゃだめですよ。そう説明されているのに…こんなになっちゃって…。
あっ、なんでもないですよ。ごめんなさい哀れで泣いたりなんかしてませんから。ほら、あっちに美味しいお菓子を用意してます。おじいちゃんの大好きなガルパンのクッキーでお茶でも飲みましょうかおじいちゃんがパソコンの大先生だった頃のはなし、又きかせてくださいじゃましちゃいけませんよ
HPCクラスタの場合、各ノードにデータとプログラムを配布して、計算結果を回収するといった使い方をするのが基本です。よって、各ノードのメモリは想定されるジョブで必要な容量さえあれば、数GB程度でもいいのです。そのため、大容量メモリを前提とした高価な大容量キャッシュを積んだCPUなんて必要がないのです。各ノードに配布するデータとプログラムが大きすぎても、通信量の関係で破綻するだけです。HPCクラスタでも、もちろん、コア数そのものは多い方がいいのです。まあ、HPCなら、将来的にはHMB2で32GBぐらいのメモリをスタックさせたSoCを高密実装したブレードを集積するような形式になるんではないかなあ。
HPCまで来ると、コストの問題が大きいからじゃね?
自作PCをたくさん並べるようなのを想像してるのかも知れないけど、HPCやスパコンと言えるような規模になると、周辺設備のコストが高くなってCPUのコスト比率は相対的に下がってますよ。特に専用設計のものを使うんでない場合はなおさら。
E7はメモリがSMB経由になるわけで、SMBの搭載と、その分の面積が要る(し特化設計になる)し、レイテンシ的にも不利。そもそもHPCはクラスタ構成だから、一台の能力が倍になったとしても、周辺機器含めた価格が倍以上になれば意味が無い。CPUの値段が相対的に重要じゃないとしても、インテルの卸でみても、16コアで1800ドルvs3000ドルくらい違うわけで、1000cpu載せるとそれだけで1Mドルくらいになる。「別に速くならないけど、XeonをE7にかえます、値段は全体で60Mドルが65Mドルになりますが、いいっすよね」ってのは有り得んはなしでしょう。
時代はGPU。phiもGPUみたいなものだ。
1コアあたりのメインメモリ帯域が確保しづらくなるからじゃないかな?
リスト見ても、1CPUあたり数十GB程度しかメモリ積んでないので、E7のメリットが無いのでは?E7のメリットが出るのは共有メモリの中規模サーバ用途であって、分散メモリのスパコンには意味が無いと思うよ。
PCIeのレーン数の問題だと思います。
最近のPCクラスタはCPU単体ではなく、GPUやXeon Phiなどで性能を稼いでいるわけですが、E5とE7ではこれらのデバイスを接続するPCIeのレーン数に違いがあります。E5は40レーンあるので、GPU2枚(16レーン x 2枚) + InfiniBand(8レーン) = 40レーンという構成で無駄なく使い切れますが、E7は32レーンしかないので、GPU1枚 + InfiniBand = 24レーンという構成にせざるを得ないので、8レーン分が無駄になりますし、GPUが1枚しか刺せないのでCPU1個あたりのトータル性能も低くなってしまうので、E7を使う意味が無いです。(8レーンでGPUを動作させることもできますが、各GPUで性能が不均一になると負荷分散とかの話が出てきて厄介なことになります)
Intelは「ビジネス向け」とか「ミッションクリティカル」用途とかいろいろ言ってますが、「HPC向け」とは言ってない。
スパコンって言葉の定義が違ってませんか?
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
普通のやつらの下を行け -- バッドノウハウ専門家
HPCで使われないE7系の不思議 (スコア:0)
前から思ってたんだけど。
Intelは「スパコンにはE7使ってね」って言っているようなのだが、実際にはE5をたんと乗せてるものがほとんどだよね。っていうかE7出てこない
http://www.top500.org/lists/2015/11/ [top500.org]
素人的にはコアもたんとあるし、メモリもたくさんつめるし、コストの問題はHPCまで来りゃ些細なもんだろうし、こっちの方が有利な気がするんだが、どうして使われないのだろ?
Re:HPCで使われないE7系の不思議 (スコア:1)
大容量メモリの環境で、NUMAとかSMPで大量のコアがほしいという用途は、HPCではなく、基幹向けだからなあ。
FUJITSU Server PRIMEQUESTとかXeon E7 v4を使っていたはず。
TBクラスのオンメモリDBとかで、システムをぶん回す感じ。
HPCの場合、コストがかかりすぎるので、1つのノードにそんなに大規模なメモリとコア数を確保するのはナンセンスだ。
Re: (スコア:0)
何故ナンセンスなんですか
教えてクンで申し訳ないけど、ナンセンスって言葉じゃわかんない
そんなに常識レベルの話なの?
Re: (スコア:0)
得られる計算能力と総メモリ量とそこにかかるコストで単価を計算していくと、
メインフレーム向けのE7より
コモディティ化したE5でクラスターを組むほうが安いからでしょ。
Re: (スコア:0)
だから、HPCに占めるCPUの費用なんてたかが知れてるってのに
そんな僅かな金額差を節約するために、TOP500にE7が一個もない状況になるの?
Re: (スコア:0)
元コメで挙げられているメリットのコア数もメモリ容量も、
そのレベルだとE5に対するメリットとならないからでしょ。
同じ計算能力とメモリ容量にしたE7メインフレームとE5クラスターで
E7のメリットが何かを挙げないと。
要求する計算能力とメモリ容量がE5ではクラスタ組んでも無理とかならともかく。
Re:HPCで使われないE7系の不思議 (スコア:2)
CPUの数を減らせる!
ってだけかなー、と。
Re: (スコア:0)
おいおい、Xeon E5とXeon E7では同じコア数でも1個当たり10万ぐらい違うこともあるぞ。同じコア数ならXeon E7を1個よりXeon E5を2個の方が経済的だってだけだ。
Re: (スコア:0)
おじいちゃん
みんな、自作の組立パソコンの話をしているじゃないんです
総合的なシステムに占めるCPUの比率が低いから、そんな単純な理由で選択するわけがない部分の話をしているんですよ。お金じゃなくて技術の話をしているんだから、邪魔しちゃだめですよ。そう説明されているのに…こんなになっちゃって…。
あっ、なんでもないですよ。ごめんなさい哀れで泣いたりなんかしてませんから。
ほら、あっちに美味しいお菓子を用意してます。
おじいちゃんの大好きなガルパンのクッキーでお茶でも飲みましょうか
おじいちゃんがパソコンの大先生だった頃のはなし、又きかせてください
じゃましちゃいけませんよ
Re: (スコア:0)
HPCクラスタの場合、各ノードにデータとプログラムを配布して、計算結果を回収するといった使い方をするのが基本です。
よって、各ノードのメモリは想定されるジョブで必要な容量さえあれば、数GB程度でもいいのです。そのため、大容量メモリを前提とした高価な大容量キャッシュを積んだCPUなんて必要がないのです。
各ノードに配布するデータとプログラムが大きすぎても、通信量の関係で破綻するだけです。
HPCクラスタでも、もちろん、コア数そのものは多い方がいいのです。
まあ、HPCなら、将来的にはHMB2で32GBぐらいのメモリをスタックさせたSoCを高密実装したブレードを集積するような形式になるんではないかなあ。
Re: (スコア:0)
HPCまで来ると、コストの問題が大きいからじゃね?
Re: (スコア:0)
自作PCをたくさん並べるようなのを想像してるのかも知れないけど、HPCやスパコンと言えるような規模になると、周辺設備のコストが高くなってCPUのコスト比率は相対的に下がってますよ。特に専用設計のものを使うんでない場合はなおさら。
Re:HPCで使われないE7系の不思議 (スコア:1)
E7はメモリがSMB経由になるわけで、SMBの搭載と、その分の面積が要る(し特化設計になる)し、レイテンシ的にも不利。そもそもHPCはクラスタ構成だから、一台の能力が倍になったとしても、周辺機器含めた価格が倍以上になれば意味が無い。
CPUの値段が相対的に重要じゃないとしても、インテルの卸でみても、16コアで1800ドルvs3000ドルくらい違うわけで、1000cpu載せるとそれだけで1Mドルくらいになる。
「別に速くならないけど、XeonをE7にかえます、値段は全体で60Mドルが65Mドルになりますが、いいっすよね」ってのは有り得んはなしでしょう。
Re: (スコア:0)
時代はGPU。phiもGPUみたいなものだ。
Re: (スコア:0)
1コアあたりのメインメモリ帯域が確保しづらくなるからじゃないかな?
Re: (スコア:0)
リスト見ても、1CPUあたり数十GB程度しかメモリ積んでないので、E7のメリットが無いのでは?
E7のメリットが出るのは共有メモリの中規模サーバ用途であって、分散メモリのスパコンには意味が無いと思うよ。
Re: (スコア:0)
PCIeのレーン数の問題だと思います。
最近のPCクラスタはCPU単体ではなく、GPUやXeon Phiなどで性能を稼いでいるわけですが、E5とE7ではこれらのデバイスを接続するPCIeのレーン数に違いがあります。
E5は40レーンあるので、
GPU2枚(16レーン x 2枚) + InfiniBand(8レーン) = 40レーン
という構成で無駄なく使い切れますが、E7は32レーンしかないので、
GPU1枚 + InfiniBand = 24レーン
という構成にせざるを得ないので、8レーン分が無駄になりますし、GPUが1枚しか刺せないのでCPU1個あたりのトータル性能も低くなってしまうので、E7を使う意味が無いです。
(8レーンでGPUを動作させることもできますが、各GPUで性能が不均一になると負荷分散とかの話が出てきて厄介なことになります)
Re: (スコア:0)
Intelは「ビジネス向け」とか「ミッションクリティカル」用途とかいろいろ言ってますが、「HPC向け」とは言ってない。
スパコンって言葉の定義が違ってませんか?