2010/8/22:本掲示板は閲覧専用です。データが一部破損しておりますがご了承ください。
  新規投稿 ┃ツリー表示 ┃スレッド表示 ┃一覧表示 ┃トピック表示 ┃番号順表示 ┃検索 ┃設定 ┃過去ログ ┃ホーム  
33 / 332 ツリー ←次へ | 前へ→

みんなには内緒だよ(特に海外は・・・) ひよひよ 09/9/14(月) 23:25 [添付]

ベンチマークの方法自体の問題は修正しないのですか? Mori 09/10/21(水) 22:53
Re:ベンチマークの方法自体の問題は修正しないのです... ひよひよ 09/10/21(水) 23:28
Re:ベンチマークの方法自体の問題は修正しないのです... EMO 09/10/23(金) 8:42
Re:ベンチマークの方法自体の問題は修正しないのです... ひよひよ 09/10/25(日) 22:56
Re:ベンチマークの方法自体の問題は修正しないのです... [名前なし] 09/10/22(木) 18:25

ベンチマークの方法自体の問題は修正しないのです...
←back ↑menu ↑top forward→
 Mori  - 09/10/21(水) 22:53 -

引用なし
パスワード
   CrystalDiskMarkのベンチマークの方法自体の問題は修正しないのですか?

CrystalDiskMarkはHDDの空き容量にテストファイルを作成してベンチマークを行っていますが、
その方法ではキャッシュに影響を受ける以外にも、
HDDにファイルが存在している場合(OSがインストールされているなど)や断片化している場合に大きく結果が左右される、
というのは初期の頃から問題点としてあげられていたと思いますが、改善の予定はないのですか?

特にOSの存在するCドライブを50MBや100MBでテストしているスクリーンショットなどは笑いものになっていますが。
実際これらの問題点を知らずに使用したPCパーツショップの店頭機のベンチマーク結果を汚染してしまったことは致命的な欠点だと思います。

方法自体を変更する気がないならば、

1.HDDに存在する総ファイル数、HDDの空き容量/総容量をベンチマーク結果(UI、テキスト共に)含める
2.キャッシュ、ファイルの有無、断片化の影響を受けることをマニュアル等のドキュメントで周知する
3.キャッシュ、ファイルの有無、断片化の影響をなるべく受けずにベンチマークを行う手段をマニュアル等のドキュメントで周知する

これらが必須だと思います。

Re:ベンチマークの方法自体の問題は修正しないので...
←back ↑menu ↑top forward→
 ひよひよ  - 09/10/21(水) 23:28 -

引用なし
パスワード
   ▼Moriさん:
>CrystalDiskMarkはHDDの空き容量にテストファイルを作成してベンチマークを行っていますが、
>その方法ではキャッシュに影響を受ける以外にも、
>HDDにファイルが存在している場合(OSがインストールされているなど)や断片化している場合に大きく結果が左右される、
>というのは初期の頃から問題点としてあげられていたと思いますが、改善の予定はないのですか?
ファイルを生成する位置を通常のアプリケーションから指定することは不可能なのでこの点について仕様を変更する予定はございません。CrystalDiskMark に限らずファイルを生成してテストを行うタイプではこの問題を回避することはできないと考えております。
もちろん、デフラグソフトのようにファイルがどの位置に生成されているかをすべて把握した上で空き領域を使ってテストを行うということはできるとは思いますが。

また、ファイルを生成せずに直接 LBA を指定してテストすることもできますが、書き込みテストを行うとデータが破壊されることになるため一般ユーザー向けでないことや既に HDTune など優れたソフトが存在するため作成する予定はございません。


>方法自体を変更する気がないならば、
>
>1.HDDに存在する総ファイル数、HDDの空き容量/総容量をベンチマーク結果(UI、テキスト共に)含める
これは簡単に実装できますし良いアイディアですね。参考にさせていただきます。

>2.キャッシュ、ファイルの有無、断片化の影響を受けることをマニュアル等のドキュメントで周知する
>3.キャッシュ、ファイルの有無、断片化の影響をなるべく受けずにベンチマークを行う手段をマニュアル等のドキュメントで周知する
これもご指摘の通りだと思います。CrystalDiskMark の開発当初はある程度知識のある人が使うということを前提としていたので、説明は不要(当たり前)と考えておりました。

正直、CrystalDiskInfo のようなマニュアルを作成する気はなかったのですが、ユーザー数やユーザー層の広がりを考慮するとマニュアルの作成についても再度検討してみたいと思います。

ところで、Mori さんはかなりお詳しいようですが、どのようにベンチマーク方法を修正するのが良いとお考えになられているのでしょうか?前述のとおり私にはファイルを生成するタイプのベンチマークとしてはこれ以外の方法が思いつかないのですが、既存ファイルや断片化などに影響を受けず、より良いベンチマーク方法のアイディアをお持ちでしたらご教示いただけないでしょうか。

よろしくお願いいたします。

Re:ベンチマークの方法自体の問題は修正しないので...
←back ↑menu ↑top forward→
 [名前なし]  - 09/10/22(木) 18:25 -

引用なし
パスワード
   ▼Moriさん:

>特にOSの存在するCドライブを50MBや100MBでテストしているスクリーンショットなどは笑いものになっていますが。
>実際これらの問題点を知らずに使用したPCパーツショップの店頭機のベンチマーク結果を汚染してしまったことは致命的な欠点だと思います。

汚染って…。
そういう言い方はないでしょう。言い方一つで相手に与える印象は大きく変わるのだから、気をつけた方が良いと思いますよ。

Re:ベンチマークの方法自体の問題は修正しないので...
←back ↑menu ↑top forward→
 EMO WEB  - 09/10/23(金) 8:42 -

引用なし
パスワード
   ▼Moriさん:
>CrystalDiskMarkはHDDの空き容量にテストファイルを作成してベンチマークを行っていますが、

パーティションがある状態で(ライトを含めて)テストするベンチマークは、IometerもATTOもSandraもPCMark05もHD Tune(のFile Benchmark)も等しく一時ファイルを作成してテストしますから、そういう意味では条件は同じです。

>実際これらの問題点を知らずに使用したPCパーツショップの店頭機のベンチマーク結果を汚染してしまったことは致命的な欠点だと思います。

そういう商売絡みのところでは高いスコアが出た方が有利なのでしょうから、より高いスコアが出る状態でテストしないのはある意味、自業自得。もし高いスコアが出る状態を知らないのなら(よりクリーンな状態でテストするだけですが)、それはショップの店員として罪。むしろRAIDカード等のキャッシュの効果が強く出てしまう方が誤解を与えそうですが、それは別の問題。

▼ひよひよさん:
>正直、CrystalDiskInfo のようなマニュアルを作成する気はなかったのですが、ユーザー数やユーザー層の広がりを考慮するとマニュアルの作成についても再度検討してみたいと思います。

たぶん、理想的には一時的にでもそれ専用のパーティションを作成してテストするのがいいのだと思いますが(Vista以降なら標準でパーティションの縮小と拡大ができますし)、それがどこまで一般的かは分かりません。

むしろベンチマークの今日的な課題としては、SSDの場合、フラグメンテーションとは別に、ベンチマークのテストをする前に何をしていたかにかなり影響を受けるのが分かってますから、これを考慮するのがベンチマークのノウハウ的に重要だと思いますが、これはベンチマークソフトの方でどうこうできる問題でもないですし。

Re:ベンチマークの方法自体の問題は修正しないので...
←back ↑menu ↑top forward→
 ひよひよ  - 09/10/25(日) 22:56 -

引用なし
パスワード
   ▼EMOさん:
フォローありがとうございます。

>たぶん、理想的には一時的にでもそれ専用のパーティションを作成してテストするのがいいのだと思いますが(Vista以降なら標準でパーティションの縮小と拡大ができますし)、それがどこまで一般的かは分かりません。
パーティションの縮小拡大するベンチマークは聞いたことがありませんねぇ。
なかなか終わんないから強制終了→再起動→パーティション情報破損でアボーン
という悲劇が発生しそうな気がしますw

>むしろベンチマークの今日的な課題としては、SSDの場合、フラグメンテーションとは別に、ベンチマークのテストをする前に何をしていたかにかなり影響を受けるのが分かってますから、これを考慮するのがベンチマークのノウハウ的に重要だと思いますが、これはベンチマークソフトの方でどうこうできる問題でもないですし。
SSD は内部アドレスの断片化というソフトウェアからは見えない状況にテスト結果が大きく依存するので難しいところです。

33 / 332 ツリー ←次へ | 前へ→
  新規投稿 ┃ツリー表示 ┃スレッド表示 ┃一覧表示 ┃トピック表示 ┃番号順表示 ┃検索 ┃設定 ┃過去ログ ┃ホーム  
ページ:  ┃  記事番号:   
99722
(SS)C-BOARD v3.8(とほほ改ver2.1) is Free