アカウント名:
パスワード:
対応されてしまって正当な評価ができないならそれはもう使えなくて。別の手段で評価するしかないだろうけど、めんどくさいからチートとして晒して区別して終わるのかな。と邪推。いや、ほんまはそういうの対応する方があらぬ方向の徒労というかご苦労様でその分正統に努力しろよってことなんだけど。
Android端末メーカーは「Futuremarkのベンチマークのルール」を守らないといけないと(Googleに?)定められているのかってのが少し気になる。それともそれは、業界内での暗黙のルールというかフェアプレイ精神でしょうか。そこを守らないとお互いの開発結果が正当に評価できないから、ちゃんと守ろうぜってな感じ。
だとしたらそれはきっとアジアの片隅ではあまりなじみが無い習慣だというのに欧州か北欧の人たちにはわからなかったんだろうね。#それはちょっと言い過ぎか
サムスン関係者乙w
ベンチマークはそもそも「通常使用でのパフォーマンスを図るもの」なのに、通常使用とは違うコードを流して見た目だけ上げるようなユーザーに不誠実な企業はさらされますよってだけだろ。
>対応されてしまって正当な評価ができないようにコスイ手を使ってるのは誰でしょうw
それこそ、「そういうの対応する方があらぬ方向の徒労」するより「正統に(パフォーマンスが上がるように)努力しろよ。ハードメーカーは」
って話ですねWWWWWW
そうしないと、屑メーカーとして晒されますよ。ってそんだけの話w。
だってそもそも「プロセスがそのベンチマークソフト名の時だけCPU2倍速」とかやってんだものw
FuturemarkがAndroid端末評価の現状に合っていないのが原因の一部なのは事実だと思います。昨今のAndroid端末は最大処理速度が急激に上がって来ていて、発熱との戦いになっている。だから、発熱抑制のリミッターをどうやって外すかが処理速度の肝になっている。極端な話、中華端末なんかは発熱なんてどうでもよいので最大速度を出すことができる。# 富士通とかもかな。でも、SamsungやHTCなどの大手企業はそういう危ないことはできない。未だにFuturemarkのベンチマーク結果を見て端末を評価する客が多いので、品質重視の企業ほどジレンマに陥る。
だからコスイことをしてよいということにはなりませんが、Futuremarkをスポーツ競技とか消費者テスト的なものだとして見るのはどうかと思います。
だからってコスイことをしてよいということにはなりません。
>発熱抑制のリミッターをどうやって外すかが処理速度の肝なら、すべてのアプリでそうすればいい話。
なんで「プロセス名が該当のベンチマークだけリミットはずすのかねw」
「発熱抑制のリミッター」ならベンチマークでもはずす必要ないだろw
> だってそもそも「プロセスがそのベンチマークソフト名の時だけCPU2倍速」とかやってんだものw
なんつーか、インチキするのが悪いとは思わんが、やるならもっとうまくやってほしいわ。
逆に考えれば「プロセス名をベンチマーク名に偽造」ってことをすればどんなアプリでも超高性能な状態で動いてくれるってことなんじゃないの?
// 電池が即死するかもなw(:>^
爆発する方に500ウォン硬貨1枚
デスヨネー
爆発力もベンチマーク対象にすれば問題なし。
#黒色火薬34g相当とかTNT火薬、東京ドーム10杯分相当とか
インチキというか
「そのベンチマークの時だけ」じゃなくて「そのベンチマークが使用する命令文の時だけ」にすりゃいいのにね。
その場合は同じ命令文を使うソフトのパフォーマンスも上がるので、インチキと言えるか微妙。
今、サムスンやHTCがやってる「プロセスがそのベンチマーク名の時だけ」なんてやったら他のソフトではそのパフォーマンスが出ることはあり得ないので、完全なインチキとして晒されて当り前ですよw
そんな話だっけ?もしそれが本当なら、FutureMark社はプロセス名を変えてやらせてみてはどうだろう?
CPUが2倍ってのも本当だろうか?そんなに高速化できちゃうような高性能のCPUを使っているのかな。
誰か、どれだけサムスンとhtcがインチキをしていたのか該当機種ユーザーは試してみてはくれないか。
ググレばいくらでもあるけど、とりあえずスラドJでの既報 [srad.jp]
ごめん、まったくわからない。ググってもコメントで書かれているような話は見つけられないし、既報も何を指しているのか。
イtンチキは事実かも知れないが、インチキの程度は大げさに書いてしまったということで理解してよろしいか?
俺が理解できないからあれはイtンチキはないとか言われてもなあ
リンクがおかしいのか、このストーリーが表示されるんだよ。元ACの人は正しいリンクを貼ってくれ。
ふつうに関連リンクにあるだろ特定のベンチマークアプリでのみリミッターを解除するSamsung Galaxy S4 http://mobile.srad.jp/story/13/08/02/03592 [mobile.srad.jp]
GPUの話だし、既報 [srad.jp]では480MHz→532MHzと1.1倍だし、「CPU2倍速」ってどこの情報?ググっても見つからないし、印象操作?
ヒント:CPUはARM
その既報にリンクがあるEngadgetで触れられていますね。
http://japanese.engadget.com/2013/07/30/galaxy-s4/ [engadget.com]
また GPUの動作クロックとは別に、特定のアプリが起動中は、CPUコアもすべてのコアが高いクロックで駆動する挙動も確認されています。たとえばExynos 5 Octa の場合、決め打ちされたベンチマークアプリではメニューでアイドルに近いときでも、速い方の Cortex-A15 コア x 4 に切り替えて1.2GHz動作。同じベンチマークアプリでもバージョン違いでホワイトリストに含まれていない場合はCortex-A7 で 500MHz (250MHz)。
>無名のベンチマーク屋さんが名を売っている段階だと、なんとかして全端末対応の方法を開発するなりみんなから信頼を集める必要があるでしょうけど、 端末メーカー側から意識されるぐらいの存在感になった今ならもうちょっとは強気になれる、とかそんな感じでしょう。
今こそ無名のベンチマーク屋さんにチャンス到来!ってことですね。#その界隈の事は全く知らないのに無責任な煽りだこと
>「主要な端末の全てに対応できていないのに業界標準ベンチマークであるかのごとく振る舞おうなんておこがましい」
逆逆WWWW
今回は、「端末側が3DMARKでのみいい数値が出るようにインチキをファームに組み込んで対応した」
って話なんですがwww
なんでGoogleが出てくるんだ?「Futuremarkのベンチマークのルール」を作ったのはFuturemarkに他ならないわけで。
ベンチマークがGoogle Play上で公開されているならGoogleの指針に従う必要があるその指針で何か規定があるのかどうか、不明だということを言っているのでは
「ルールに従わないから統計から外された」ってだけですよね?
何も疑問点なんて無い気がしますが、どこが疑問なんでしょうか?
ベンチマークだけクロックアップしている時点で詐欺。PCでも散々発覚して叩かれてきたことだけれど、まさかアジアの片隅では馴染みが薄いなんて表現が飛び出すとは。しかもGalaxyはGalaxy 2で既におこなっているのが明白だったし、ずっと継続して詐欺をおこなっている状態。
ベンチマークの結果を参照しながらチューニングは普通にしたりする。そうすると、そのベンチマークに特化した(ベンチマーク結果が上がるが通常使用では意味なし)チューニングしてしまうことがある。そういう面から見るとこういう方法を取ってしまったのも分かる気がする。
使用されてる命令基準ならそうなるのもわかりますが、サムチョンは「ベンチマークのプロセス名」で、リミッタはずすってやってますので、
>ベンチマークの結果を参照しながらチューニング
とは全くの別物です。同じバイナリでプロセス名かえるとスコア7ががくんと落ちますw
ベンチマークでの数値が開発目標に入っていると、以下をたどるんだよ。
チューニング目的がベンチマークでいい結果を出すことになってしまう。↓命令の並びとかも決めうちでチューニングする。↓ベンチマークを早くする結果しかもたらさない。↓じゃあ、もうベンチマーク結果が良かったらなんでもいいじゃん。
>命令の並びとかも決めうちでチューニングする。
だからこれならOKなんですよ。開発ソフトのチューニングではなく、ハード(とそのファーム)の話ですので。
同じ並びの命令があるソフトなら「固定のベンチマークソフト」以外でも、たまたま同じ並びの命令であれば恩恵が受けられる(同じパフォーマンスがでる。 同じソフトであればプロセス名が違っても同じ結果がでる)
>じゃあ、もうベンチマーク結果が良かったらなんでもいいじゃん。これはアウトです。ユーザーが実際の使用時にそのパフォーマンスが出ることはないので。
「ベンチマークプロセス名(ホワイトリスト)をもとにクロックアップ」なんてした場合、そのベンチマーク以外でそのパフォーマンスが出ることはなく、同じベンチマークでもプロセス名変えただけででなくなります。
最初から「スコアを詐欺する事だけが目的」になってしまう。
ベンチマークソフト以外もホワイトリストに含まれているならグレーなんですけどね。
> これはアウトです。ユーザーが実際の使用時にそのパフォーマンスが出ることはないので。
ベンチマークプロセス名がたまたま同じのに出くわしたらそのパフォーマンスがでるでしょ。
ベンチマーク結果を元に汎用的なチューニングをするんじゃなくて個別チューニングを許容するんなら、その延長上にあるクロックをあげるってのもやってしまうかもしれない。やっぱり。
>ベンチマークプロセス名がたまたま同じのに出くわしたらそのパフォーマンスがでるでしょ。
でません。そもそも「ベンチマークプロセス名がたまたま同じの」がありえないので。
「クロックをあげるチューニング、プロセス名を元にクロックを可変にする」これ自体は電池、やCPUアイドルを作って高負荷のプロセスになるべく回すためには許容範囲です。
ただ、「クロックをあげるホワイトリストにベンチマークプログラムしか書かれていない」
これがアウトなのです。ユーザーが使用する段階でそのパフォーマンスが出ることはないので、詐欺だけが目的です。
なので、「ベンチマーク以外の他のプログラムがホワイトリストにない以上黒、あるならばグレー」となります。
ごめん。やっぱり「ベンチマークプロセス名がたまたま同じ」はありえなくて、「ベンチマークに特化した命令の並び」の最適化はありえる、のは理解できないよ。
汎用ライブラリを作ったときに、ベンチマーク決め打ちの引数の時だけ早くなることをしたことあるが、この作業に意味は見出せなかったな。※引数は一般的に多用される値という根拠はなく、むしろ使われないという認識だった。
>ベンチマークに特化した命令の並びこれ自体はあくまでも、「命令の並び」に過ぎないでしょ。
普通のゲームでも、アプリでも、同じような処理があれば同じ命令文が並ぶ。結果、通常使用でもベンチマークと同じパフォーマンスが出ます。プロセス名、アプリ関係なく同じパフォーマンスが出ます。
極端な話、 1+1の単純計算を1000回やるとして、これが「命令特化」にふくまれている場合、ベンチマークに含まれていても、表計算ソフトに含まれていてもかかる時間は同じ。
「プロセス名でクロック制御」の場合は結果が変わる。つまりパフォーマンスが変わる。
プロセス名はアプリ固有なので、「プロセス名ホワイトリストでクロックを変える処理」なんてサムソンみたいな事をやった場合、「ホワイトリストにベンチマークしか含まれていない以上、実際にそのパフォーマンスが出ることはありません。」
なのでアウト。 ベンチマーク以外もホワイトリストにあるならユーザーはソフトによってはきちんとそのパフォーマンスが出るのでグレーそれだけの話。
>Android端末メーカーは「Futuremarkのベンチマークのルール」を守らないといけないと(Googleに?)定められているのかってのが少し気になる。>それともそれは、業界内での暗黙のルールというかフェアプレイ精神でしょうか。
そういう裏読みをする必要は無くて、要はH/Wの方で特殊な対応をされてしまうので当該ベンチマークの結果について精度を保てないという事でしょう。単にスコアから削除するとその辺が曖昧になるので、きっちりとそのことを表示した、と。
だから前にも書いたが、マルウェアと同様にステルス技術を実装したベンチマーカーを作れと。単純に技術で克服できる程度の問題なのだから。
ならサムスンが独自にそういうベンチマークを作れば良いだけだろ。Futuremarkが決めたルールが気に入らないなら自分で新しいルールを決めてそういうベンチマークを配ればいい。
Futuremarkのベンチマークでトップを取りたいのか、正しい評価方法のベンチマークでトップを取りたいのか、どっちなんだ?
サムスンは、たとえ不正な手段を使ってでも、Futuremarkのベンチマークでトップを取りたい。Futuremarkは、自社ブランドのベンチマーカーが、正しい評価方法のベンチマーカーであると、広く世間に受け入れられたい。ならばFuturemarkは、サムスンがホワイトリストでズルが出来無い、マルウェアと同様なステルス技術を実装したベンチマーカーを用意する必要があると、 #2502419投稿者は主張した。
何故、ここから「ならサムスンが独自にそういうベンチマークを作れば良いだけだろ。Futuremarkが決めたルールが気に入らないなら自分で新しいルールを決めてそういうベンチマークを配ればいい。Futuremarkのベンチマークでトップを取りたいのか、正しい評価方法のベンチマークでトップを取りたいのか、どっちなんだ?」になるのだろうか?御免なさい、 #2502419投稿者には理解出来無い。
ならばFuturemarkは、サムスンがホワイトリストでズルが出来無い、マルウェアと同様なステルス技術を実装したベンチマーカーを用意する必要があると、 #2502419投稿者は主張した。
別ACだが、この主張がまず理解できない。
技術で回避する必要があるのか?チート行為している端末はBAN、でいいじゃない。それで十分、Futuremarkの目的は達せられると思うけど。
確かに、全ての狡(ずる)している端末であろうと正しく計測するか、狡していると判明した端末はBANして隠れて狡している端末はそのままかは、その評判も含め、独りFuturemarkのみが決すべき事。僭越に過ぎました。撤回します。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
人生の大半の問題はスルー力で解決する -- スルー力研究専門家
評価方法 (スコア:-1, フレームのもと)
対応されてしまって正当な評価ができないならそれはもう使えなくて。
別の手段で評価するしかないだろうけど、めんどくさいからチートとして晒して区別して終わるのかな。
と邪推。
いや、ほんまはそういうの対応する方があらぬ方向の徒労というかご苦労様でその分正統に努力しろよってことなんだけど。
Android端末メーカーは「Futuremarkのベンチマークのルール」を守らないといけないと(Googleに?)定められているのかってのが少し気になる。
それともそれは、業界内での暗黙のルールというかフェアプレイ精神でしょうか。
そこを守らないとお互いの開発結果が正当に評価できないから、ちゃんと守ろうぜってな感じ。
だとしたらそれはきっとアジアの片隅ではあまりなじみが無い習慣だというのに欧州か北欧の人たちにはわからなかったんだろうね。
#それはちょっと言い過ぎか
Re:評価方法 (スコア:2, すばらしい洞察)
サムスン関係者乙w
ベンチマークはそもそも「通常使用でのパフォーマンスを図るもの」
なのに、通常使用とは違うコードを流して見た目だけ上げるようなユーザーに不誠実な企業はさらされますよってだけだろ。
>対応されてしまって正当な評価ができない
ようにコスイ手を使ってるのは誰でしょうw
それこそ、
「そういうの対応する方があらぬ方向の徒労」するより「正統に(パフォーマンスが上がるように)努力しろよ。ハードメーカーは」
って話ですねWWWWWW
そうしないと、屑メーカーとして晒されますよ。
ってそんだけの話w。
だってそもそも「プロセスがそのベンチマークソフト名の時だけCPU2倍速」とかやってんだものw
Re:評価方法 (スコア:1)
FuturemarkがAndroid端末評価の現状に合っていないのが原因の一部なのは事実だと思います。
昨今のAndroid端末は最大処理速度が急激に上がって来ていて、発熱との戦いになっている。
だから、発熱抑制のリミッターをどうやって外すかが処理速度の肝になっている。
極端な話、中華端末なんかは発熱なんてどうでもよいので最大速度を出すことができる。
# 富士通とかもかな。
でも、SamsungやHTCなどの大手企業はそういう危ないことはできない。
未だにFuturemarkのベンチマーク結果を見て端末を評価する客が多いので、品質重視の企業ほどジレンマに陥る。
だからコスイことをしてよいということにはなりませんが、Futuremarkをスポーツ競技とか消費者テスト的なものだとして見るのはどうかと思います。
Re: (スコア:0)
だからってコスイことをしてよいということにはなりません。
Re: (スコア:0)
>発熱抑制のリミッターをどうやって外すかが処理速度の肝
なら、すべてのアプリでそうすればいい話。
なんで「プロセス名が該当のベンチマークだけリミットはずすのかねw」
「発熱抑制のリミッター」ならベンチマークでもはずす必要ないだろw
Re: (スコア:0)
> だってそもそも「プロセスがそのベンチマークソフト名の時だけCPU2倍速」とかやってんだものw
なんつーか、インチキするのが悪いとは思わんが、
やるならもっとうまくやってほしいわ。
Re:評価方法 (スコア:1)
逆に考えれば「プロセス名をベンチマーク名に偽造」ってことをすれば
どんなアプリでも超高性能な状態で動いてくれるってことなんじゃないの?
// 電池が即死するかもなw(:>^
Re: (スコア:0)
爆発する方に500ウォン硬貨1枚
Re:評価方法 (スコア:1)
デスヨネー
Re:評価方法 (スコア:1)
爆発力もベンチマーク対象にすれば問題なし。
#黒色火薬34g相当とかTNT火薬、東京ドーム10杯分相当とか
Re: (スコア:0)
インチキというか
「そのベンチマークの時だけ」じゃなくて「そのベンチマークが使用する命令文の時だけ」
にすりゃいいのにね。
その場合は同じ命令文を使うソフトのパフォーマンスも上がるので、インチキと言えるか微妙。
今、サムスンやHTCがやってる「プロセスがそのベンチマーク名の時だけ」なんてやったら
他のソフトではそのパフォーマンスが出ることはあり得ないので、完全なインチキとして晒されて当り前ですよw
Re: (スコア:0)
> だってそもそも「プロセスがそのベンチマークソフト名の時だけCPU2倍速」とかやってんだものw
そんな話だっけ?
もしそれが本当なら、FutureMark社はプロセス名を変えてやらせてみてはどうだろう?
CPUが2倍ってのも本当だろうか?
そんなに高速化できちゃうような高性能のCPUを使っているのかな。
誰か、どれだけサムスンとhtcがインチキをしていたのか該当機種ユーザーは試してみてはくれないか。
Re: (スコア:0)
ググレばいくらでもあるけど、とりあえずスラドJでの既報 [srad.jp]
Re: (スコア:0)
ごめん、まったくわからない。
ググってもコメントで書かれているような話は見つけられないし、既報も何を指しているのか。
イtンチキは事実かも知れないが、インチキの程度は大げさに書いてしまったということで理解してよろしいか?
Re: (スコア:0)
俺が理解できないからあれはイtンチキはないとか言われてもなあ
Re: (スコア:0)
リンクがおかしいのか、このストーリーが表示されるんだよ。
元ACの人は正しいリンクを貼ってくれ。
Re: (スコア:0)
ふつうに関連リンクにあるだろ
特定のベンチマークアプリでのみリミッターを解除するSamsung Galaxy S4
http://mobile.srad.jp/story/13/08/02/03592 [mobile.srad.jp]
Re: (スコア:0)
GPUの話だし、既報 [srad.jp]では480MHz→532MHzと1.1倍だし、「CPU2倍速」ってどこの情報?
ググっても見つからないし、印象操作?
Re: (スコア:0)
ヒント:CPUはARM
Re: (スコア:0)
その既報にリンクがあるEngadgetで触れられていますね。
http://japanese.engadget.com/2013/07/30/galaxy-s4/ [engadget.com]
Re:評価方法 (スコア:2)
その通りでしょう。
Futuremarkの行動は「通常時の性能が計測できないため、誤情報の発信を避けるべくランキングから外した」とでもして正当化出来ますし、 それを、端末メーカー寄りの立場で「主要な端末の全てに対応できていないのに業界標準ベンチマークであるかのごとく振る舞おうなんておこがましい」と表現してもウソではないですが。
無名のベンチマーク屋さんが名を売っている段階だと、なんとかして全端末対応の方法を開発するなりみんなから信頼を集める必要があるでしょうけど、 端末メーカー側から意識されるぐらいの存在感になった今ならもうちょっとは強気になれる、とかそんな感じでしょう。
評判を落とさずに出来るなら、安くて効果的な戦法だと思いますよ。
Re:評価方法 (スコア:1)
>無名のベンチマーク屋さんが名を売っている段階だと、なんとかして全端末対応の方法を開発するなりみんなから信頼を集める必要があるでしょうけど、 端末メーカー側から意識されるぐらいの存在感になった今ならもうちょっとは強気になれる、とかそんな感じでしょう。
今こそ無名のベンチマーク屋さんにチャンス到来!ってことですね。
#その界隈の事は全く知らないのに無責任な煽りだこと
Re: (スコア:0)
>「主要な端末の全てに対応できていないのに業界標準ベンチマークであるかのごとく振る舞おうなんておこがましい」
逆逆WWWW
今回は、「端末側が3DMARKでのみいい数値が出るようにインチキをファームに組み込んで対応した」
って話なんですがwww
Re:評価方法 (スコア:1)
wを盛りだくさんにするまでもなく、もちろんそうですよ。
それを色んな立場から表現すると、ウソにならない範囲でなんとでも言いようがありますけどね、と言うだけの話です。
擁護、非難、ステマとか、色んな立場がありますし、それらの表現のどれをどう捉えるかは聞く人の勝手ですが、 「端末メーカー寄りの表現」が「端末メーカーが「インチキファーム」を組み込むぐらい意識しているFuturemarkの発表」より強い印象を与えられるとはとても・・・と。
Re:評価方法 (スコア:1)
別にウリナラルールでウリナラスコアリストを発表するのは誰にも禁じられてない。客がどっち信用するかってだけ。
Re: (スコア:0)
Android端末メーカーは「Futuremarkのベンチマークのルール」を守らないといけないと(Googleに?)定められているのかってのが少し気になる。
それともそれは、業界内での暗黙のルールというかフェアプレイ精神でしょうか。
そこを守らないとお互いの開発結果が正当に評価できないから、ちゃんと守ろうぜってな感じ。
なんでGoogleが出てくるんだ?
「Futuremarkのベンチマークのルール」を作ったのはFuturemarkに他ならないわけで。
Re: (スコア:0)
ベンチマークがGoogle Play上で公開されているならGoogleの指針に従う必要がある
その指針で何か規定があるのかどうか、不明だということを言っているのでは
Re: (スコア:0)
「ルールに従わないから統計から外された」ってだけですよね?
何も疑問点なんて無い気がしますが、どこが疑問なんでしょうか?
Re: (スコア:0)
ベンチマークだけクロックアップしている時点で詐欺。
PCでも散々発覚して叩かれてきたことだけれど、まさかアジアの片隅では馴染みが薄いなんて表現が飛び出すとは。
しかもGalaxyはGalaxy 2で既におこなっているのが明白だったし、ずっと継続して詐欺をおこなっている状態。
Re: (スコア:0)
ベンチマークの結果を参照しながらチューニングは普通にしたりする。
そうすると、そのベンチマークに特化した(ベンチマーク結果が上がるが通常使用では意味なし)チューニングしてしまうことがある。
そういう面から見るとこういう方法を取ってしまったのも分かる気がする。
Re: (スコア:0)
使用されてる命令基準ならそうなるのもわかりますが、サムチョンは「ベンチマークのプロセス名」で、
リミッタはずすってやってますので、
>ベンチマークの結果を参照しながらチューニング
とは全くの別物です。
同じバイナリでプロセス名かえるとスコア7ががくんと落ちますw
Re: (スコア:0)
ベンチマークでの数値が開発目標に入っていると、以下をたどるんだよ。
チューニング目的がベンチマークでいい結果を出すことになってしまう。
↓
命令の並びとかも決めうちでチューニングする。
↓
ベンチマークを早くする結果しかもたらさない。
↓
じゃあ、もうベンチマーク結果が良かったらなんでもいいじゃん。
Re: (スコア:0)
>命令の並びとかも決めうちでチューニングする。
だからこれならOKなんですよ。開発ソフトのチューニングではなく、ハード(とそのファーム)の話ですので。
同じ並びの命令があるソフトなら「固定のベンチマークソフト」以外でも、たまたま同じ並びの命令であれば恩恵が受けられる
(同じパフォーマンスがでる。 同じソフトであればプロセス名が違っても同じ結果がでる)
>じゃあ、もうベンチマーク結果が良かったらなんでもいいじゃん。
これはアウトです。ユーザーが実際の使用時にそのパフォーマンスが出ることはないので。
「ベンチマークプロセス名(ホワイトリスト)をもとにクロックアップ」なんてした場合、そのベンチマーク以外で
そのパフォーマンスが出ることはなく、同じベンチマークでもプロセス名変えただけででなくなります。
最初から「スコアを詐欺する事だけが目的」になってしまう。
ベンチマークソフト以外もホワイトリストに含まれているならグレーなんですけどね。
Re: (スコア:0)
> これはアウトです。ユーザーが実際の使用時にそのパフォーマンスが出ることはないので。
ベンチマークプロセス名がたまたま同じのに出くわしたらそのパフォーマンスがでるでしょ。
ベンチマーク結果を元に汎用的なチューニングをするんじゃなくて個別チューニングを許容するんなら、その延長上にあるクロックをあげるってのもやってしまうかもしれない。やっぱり。
Re: (スコア:0)
>ベンチマークプロセス名がたまたま同じのに出くわしたらそのパフォーマンスがでるでしょ。
でません。
そもそも
「ベンチマークプロセス名がたまたま同じの」がありえないので。
「クロックをあげるチューニング、プロセス名を元にクロックを可変にする」
これ自体は電池、やCPUアイドルを作って高負荷のプロセスになるべく回すためには許容範囲です。
ただ、「クロックをあげるホワイトリストにベンチマークプログラムしか書かれていない」
これがアウトなのです。ユーザーが使用する段階でそのパフォーマンスが出ることはないので、
詐欺だけが目的です。
なので、「ベンチマーク以外の他のプログラムがホワイトリストにない以上黒、あるならばグレー」
となります。
Re: (スコア:0)
ごめん。やっぱり
「ベンチマークプロセス名がたまたま同じ」はありえなくて、
「ベンチマークに特化した命令の並び」の最適化はありえる、
のは理解できないよ。
汎用ライブラリを作ったときに、ベンチマーク決め打ちの引数の時だけ早くなることをしたことあるが、この作業に意味は見出せなかったな。
※引数は一般的に多用される値という根拠はなく、むしろ使われないという認識だった。
Re: (スコア:0)
>ベンチマークに特化した命令の並び
これ自体はあくまでも、「命令の並び」に過ぎないでしょ。
普通のゲームでも、アプリでも、同じような処理があれば同じ命令文が並ぶ。
結果、通常使用でもベンチマークと同じパフォーマンスが出ます。
プロセス名、アプリ関係なく同じパフォーマンスが出ます。
極端な話、 1+1の単純計算を1000回やるとして、これが「命令特化」にふくまれている場合、
ベンチマークに含まれていても、表計算ソフトに含まれていてもかかる時間は同じ。
「プロセス名でクロック制御」の場合は結果が変わる。つまりパフォーマンスが変わる。
プロセス名はアプリ固有なので、「プロセス名ホワイトリストでクロックを変える処理」なんてサムソンみたいな事をやった場合、
「ホワイトリストにベンチマークしか含まれていない以上、実際にそのパフォーマンスが出ることはありません。」
なのでアウト。 ベンチマーク以外もホワイトリストにあるならユーザーはソフトによってはきちんとそのパフォーマンスが出るのでグレー
それだけの話。
Re: (スコア:0)
>Android端末メーカーは「Futuremarkのベンチマークのルール」を守らないといけないと(Googleに?)定められているのかってのが少し気になる。
>それともそれは、業界内での暗黙のルールというかフェアプレイ精神でしょうか。
そういう裏読みをする必要は無くて、要はH/Wの方で特殊な対応をされてしまうので
当該ベンチマークの結果について精度を保てないという事でしょう。
単にスコアから削除するとその辺が曖昧になるので、きっちりとそのことを表示した、と。
Re: (スコア:0)
対応されてしまって正当な評価ができないならそれはもう使えなくて。
別の手段で評価するしかないだろうけど、めんどくさいからチートとして晒して区別して終わるのかな。
と邪推。
いや、ほんまはそういうの対応する方があらぬ方向の徒労というかご苦労様でその分正統に努力しろよってことなんだけど。
だから前にも書いたが、マルウェアと同様にステルス技術を実装したベンチマーカーを作れと。
単純に技術で克服できる程度の問題なのだから。
Re: (スコア:0)
ならサムスンが独自にそういうベンチマークを作れば良いだけだろ。
Futuremarkが決めたルールが気に入らないなら自分で新しいルールを決めてそういうベンチマークを配ればいい。
Futuremarkのベンチマークでトップを取りたいのか、正しい評価方法のベンチマークでトップを取りたいのか、どっちなんだ?
Re: (スコア:0)
サムスンは、たとえ不正な手段を使ってでも、Futuremarkのベンチマークでトップを取りたい。
Futuremarkは、自社ブランドのベンチマーカーが、正しい評価方法のベンチマーカーであると、広く世間に受け入れられたい。
ならばFuturemarkは、サムスンがホワイトリストでズルが出来無い、マルウェアと同様なステルス技術を実装したベンチマーカーを用意する必要があると、 #2502419投稿者は主張した。
何故、ここから「ならサムスンが独自にそういうベンチマークを作れば良いだけだろ。Futuremarkが決めたルールが気に入らないなら自分で新しいルールを決めてそういうベンチマークを配ればいい。Futuremarkのベンチマークでトップを取りたいのか、正しい評価方法のベンチマークでトップを取りたいのか、どっちなんだ?」になるのだろうか?
御免なさい、 #2502419投稿者には理解出来無い。
Re: (スコア:0)
ならばFuturemarkは、サムスンがホワイトリストでズルが出来無い、マルウェアと同様なステルス技術を実装したベンチマーカーを用意する必要があると、 #2502419投稿者は主張した。
別ACだが、この主張がまず理解できない。
技術で回避する必要があるのか?チート行為している端末はBAN、でいいじゃない。
それで十分、Futuremarkの目的は達せられると思うけど。
Re: (スコア:0)
確かに、全ての狡(ずる)している端末であろうと正しく計測するか、狡していると判明した端末はBANして隠れて狡している端末はそのままかは、その評判も含め、独りFuturemarkのみが決すべき事。
僭越に過ぎました。
撤回します。