Standard Performance Evaluation Corporation

Standard Performance Evaluation CorporationSPEC、標準性能評価法人)は、コンピュータの公平で意味のあるベンチマークを作成することを目指して設立された非営利団体である。SPECは1988年に設立され、全ての主要なコンピュータ企業やソフトウェア製造業者などのメンバー企業が資金提供している。SPECのベンチマークはコンピュータシステムの性能評価に今日広く使われていて、その測定結果はSPECのウェブサイト上で公表されている。

そのベンチマークは「現実の」状況をテストすることを目指している。例えば SPECweb2005 はWebサーバの性能評価のために様々なタイプのHTTPリクエストを並行していくつも行う。SPEC CPU はCPU性能を評価するために、GCCコンパイラチェスプログラム crafty などのいくつかのプログラムの実行時間を測定する。様々なタスクにはそれぞれ現実での重要性を考慮した重み付けがされており、その重み付けを使用して最終的にひとつのベンチマーク結果を得るようになっている。

SPECベンチマークはプラットフォームに依存しないプログラミング言語(通常、C言語またはFORTRAN)で書かれていて、利用者は自分のプラットフォームで動作する任意のコンパイラでコンパイルすることができる。ただし、ソースコードを変更することはできない。製造業者はSPECベンチマークの結果を改善するためのコンパイラの最適化手法を適用していると言われている。

ベンチマークを使うためには、ライセンスをSPECから購入する必要がある。その費用はテストの種類によって数百ドルから数千ドルまである。ベンチマークにはGPLによりライセンスされるソフトウェアが含まれるため、この支払いモデルはGPL違反であるとして批判されてきた。

ベンチマーク一覧

編集

現在のベンチマーク

編集
  • SPEC CPU2006:CPU、メモリ、コンパイラの総合的な性能評価
    • CINT2006 ("SPECint"):整数演算を評価する。コンパイラ、インタープリタ、ワードプロセッサ、チェスプログラムなどを実行。
    • CFP2006 ("SPECfp"):浮動小数点数演算を評価する。物理現象のシミュレーション、三次元グラフィックス、画像処理、化学計算などを実行。
  • SPECweb2005:PHPおよび(または)JSPの性能評価
  • SPECviewperf:OpenGL三次元グラフィックスシステムの性能評価。実アプリケーションの各種レンダリングタスクを実行。
  • SPECapc:いくつかの一般的な三次元指向のアプリケーションの性能評価
  • SPEC HPC2002:高性能並列コンピューティングシステムの性能を気象予測や化学計算のプログラムで評価
  • SPEC OMP V3.1:OpenMPベースのアプリケーションの性能評価
  • SPECjvm98:Java仮想マシンの動作するJavaクライアントシステムの性能評価
  • SPECjAppServer2004:Java 2 Enterprise Edition (J2EE)ベースのアプリケーションサーバを中心とした多層システムの性能を評価するベンチマーク
  • SPECjbb2005:三層クライアント・サーバシステムをエミュレートしサーバサイドJavaの性能を評価(主に中間層の評価)
  • SPEC MAIL2001:メールサーバの性能評価。SMTPPOPプロトコルを実行。
  • SPEC SFS97_R1:NFSファイルサーバのスループットと応答時間の測定

今後登場予定のベンチマーク

編集
  • SPECappPlatform:Web向けエンタープライズプラットフォームの性能評価(Jakarta EE.NETなど)
  • SPECimap2003:エンタープライズレベルのメールサーバの性能評価(SMTPIMAP4プロトコル)
  • SPEC MPI:MPI (Message Passing Interface) ベースのアプリケーションの性能評価

過去のベンチマーク

編集
  • SPECjAppServer2001
  • SPECjAppServer2002
  • SPECjbb2000
  • SPECweb96
  • SPECweb99
  • SPECweb99_SSL
  • SPEC CPU92
  • SPEC CPU95
  • SPEC CPU2000
  • SPEC HPC96
  • SPEC SFS97

日本国内会員

編集

2007年3月現在。アルファベット順。

正式会員

編集

協賛(準)会員

編集

外部リンク

編集