順序統計量 （じゅんじょとうけいりょう、英 : order statistic ）は、統計 において、標本の確率変数を値が小さい順に並べることで得られる統計量である。日本産業規格では、「確率変数を非減少な順序に並べることによって得られる統計量」と定義されている。ノンパラメトリック統計学 における最も基本的ツールである。
順序統計量に属する重要な値として、標本の最小値 、最大値 、中央値 、分位 などがある。
連続確率分布 での無作為標本 の順序統計量を確率論 的に分析する場合、一様分布 の順序統計量ならば累積分布関数 によって分析を簡略化できる。
例えば、4つの数が観測され記録されたとすると、標本の大きさは
n
=
4
{\displaystyle n=4}
6, 9, 3, 8, 通常はこれを次のように表記する。
x
1
=
6
;
x
2
=
9
;
x
3
=
3
;
x
4
=
8
{\displaystyle x_{1}=6;x_{2}=9;x_{3}=3;x_{4}=8}
x
i
{\displaystyle x_{i}}
i は単に記録上の順序を表し、通常は重要なものではない。ただし、時系列 のデータにおいては順序が重要となる。
順序統計量では次のように表記する。
x
(
1
)
=
3
;
x
(
2
)
=
6
;
x
(
3
)
=
8
;
x
(
4
)
=
9
{\displaystyle x_{(1)}=3;x_{(2)}=6;x_{(3)}=8;x_{(4)}=9}
ここで括弧で囲まれた添え字 (i ) は順序統計量における i 番目の値を表す。
順序統計において、第一順序統計量 （最小順序統計量 ）は最小値 を表し、次のように表される。
X
(
1
)
=
min
{
X
1
,
…
,
X
n
}
{\displaystyle X_{(1)}=\min\{X_{1},\dots ,X_{n}\}}
ここで、確率変数を示す一般的な記法として大文字を使用している。小文字は具体的な観測値を指すのに使われる。
同様に大きさ n の標本で第 n 順序統計量 （最大順序統計量 ）は最大値 を表し、次のように表される。
X
(
n
)
=
max
{
X
1
,
…
,
X
n
}
.
{\displaystyle X_{(n)}=\max\{X_{1},\dots ,X_{n}\}.}
より一般に、順序統計量は
X
(
1
)
≤
X
(
2
)
≤
⋯
≤
X
(
n
)
{\displaystyle X_{(1)}\leq X_{(2)}\leq \dots \leq X_{(n)}}
の関係で与えられる。
観測値の範囲は最大値と最小値の差である。これは明らかに順序統計量の関数となっている。
Range
{
X
1
,
…
,
X
n
}
=
X
(
n
)
−
X
(
1
)
.
{\displaystyle {\text{Range}}\{X_{1},\dots ,X_{n}\}=X_{(n)}-X_{(1)}.}
探索的データ解析 での類似の重要な統計量である四分位数 は順序統計量に関係している。
標本の中央値（第2四分位点）は順序統計量となる場合もあるし、そうでない場合もある。これのは、標本の大きさ
n
{\displaystyle n}
n
=
2
m
+
1
{\displaystyle n=2m+1}
m
{\displaystyle m}
X
(
m
+
1
)
{\displaystyle X_{(m+1)}}
n
{\displaystyle n}
n
=
2
m
{\displaystyle n=2m}
X
(
m
)
{\displaystyle X_{(m)}}
X
(
m
+
1
)
{\displaystyle X_{(m+1)}}
ここでは、標本X 1 , X 2 ,..., X n は無作為抽出 で得られたもので連続確率分布 に従うものとし、単純化のために、確率密度関数 があるものとする（つまり絶対連続 である）。
いま X 1 , X 2 ,..., X n は 無作為抽出での標本であるとする。すなわち、同一分布に従い、互いに独立 である（i.i.d. ）とする。さらに、これらは連続分布を持つ確率変数であり、f (x ) がその確率密度関数 、F (x ) が累積分布関数 とする。また、これらを小さい順に並べた順序統計量をX (1) , X (2) ,..., X (n) とする。この時、k 番目の順序統計量X (k ) の累積分布関数は次式で与えられる。
F
X
(
k
)
(
x
)
=
∑
j
=
k
n
(
n
j
)
F
(
x
)
j
(
1
−
F
(
x
)
)
n
−
j
{\displaystyle F_{X_{(k)}}(x)=\sum _{j=k}^{n}{\binom {n}{j}}F(x)^{j}(1-F(x))^{n-j}}
また、その確率密度関数は
f
X
(
k
)
(
x
)
=
n
!
(
k
−
1
)
!
(
n
−
k
)
!
F
(
x
)
k
−
1
(
1
−
F
(
x
)
)
n
−
k
f
(
x
)
{\displaystyle f_{X_{(k)}}(x)={\frac {n!}{(k-1)!(n-k)!}}F(x)^{k-1}(1-F(x))^{n-k}f(x)}
となる。
特に最小値
X
(
1
)
{\displaystyle X_{(1)}}
X
(
n
)
{\displaystyle X_{(n)}}
F
X
(
1
)
(
x
)
=
1
−
{
1
−
F
(
x
)
}
n
F
X
(
n
)
(
x
)
=
{
F
(
x
)
}
n
{\displaystyle {\begin{aligned}F_{X_{(1)}}(x)&=1-\{1-F(x)\}^{n}\\F_{X_{(n)}}(x)&=\{F(x)\}^{n}\end{aligned}}}
となる。
導出の詳細 累積分布関数
F
X
(
k
)
(
x
)
=
P
(
X
(
k
)
≤
x
)
{\displaystyle F_{X_{(k)}}(x)=P\left(X_{(k)}\leq x\right)}
P ( ) 内の事象は『n 個中少なくとも k 個の Xi が x 以下』 = 『x 以下の値がn 回の試行中 k 回以上発生する』を意味することから
F
X
(
k
)
(
x
)
=
∑
j
=
k
n
(
n
j
)
P
(
X
≤
x
)
j
(
1
−
P
(
X
≤
x
)
)
n
−
j
=
∑
j
=
k
n
(
n
j
)
F
(
x
)
j
(
1
−
F
(
x
)
)
n
−
j
{\displaystyle {\begin{aligned}F_{X_{(k)}}(x)&=\sum _{j=k}^{n}{\binom {n}{j}}P(X\leq x)^{j}(1-P(X\leq x))^{n-j}\\&=\sum _{j=k}^{n}{\binom {n}{j}}F(x)^{j}(1-F(x))^{n-j}\end{aligned}}}
が成り立つ。
確率密度関数と累積分布関数の関係に注意すれば、
f
X
(
k
)
(
x
)
=
d
d
x
F
X
(
k
)
(
x
)
=
d
d
x
∑
j
=
k
n
(
n
j
)
F
(
x
)
j
(
1
−
F
(
x
)
)
n
−
j
=
n
f
(
x
)
(
∑
j
=
k
−
1
n
−
1
(
n
−
1
j
)
F
(
x
)
j
(
1
−
F
(
x
)
)
(
n
−
1
)
−
j
−
∑
j
=
k
n
(
n
−
1
j
)
F
(
x
)
j
(
1
−
F
(
x
)
)
(
n
−
1
)
−
j
)
{\displaystyle {\begin{aligned}f_{X_{(k)}}(x)&={\frac {d}{dx}}F_{X_{(k)}}(x)\\&={\frac {d}{dx}}\sum _{j=k}^{n}{\binom {n}{j}}F(x)^{j}(1-F(x))^{n-j}\\&=nf(x)\left(\sum _{j=k-1}^{n-1}{\binom {n-1}{j}}F(x)^{j}(1-F(x))^{(n-1)-j}-\sum _{j=k}^{n}{\binom {n-1}{j}}F(x)^{j}(1-F(x))^{(n-1)-j}\right)\end{aligned}}}
となる。上記の畳み込み級数 の総和は、最初と最後の項以外は全て相殺されるため
=
n
f
(
x
)
(
(
n
−
1
k
−
1
)
F
(
x
)
k
−
1
(
1
−
F
(
x
)
)
(
n
−
1
)
−
(
k
−
1
)
−
(
n
−
1
n
)
F
(
x
)
n
(
1
−
F
(
x
)
)
(
n
−
1
)
−
n
)
{\displaystyle =nf(x)\left({\binom {n-1}{k-1}}F(x)^{k-1}(1-F(x))^{(n-1)-(k-1)}-{n-1 \choose n}F(x)^{n}(1-F(x))^{(n-1)-n}\right)}
となる。さらに第二項はゼロとなるから
=
n
f
(
x
)
(
n
−
1
k
−
1
)
F
(
x
)
k
−
1
(
1
−
F
(
x
)
)
(
n
−
1
)
−
(
k
−
1
)
=
n
!
(
k
−
1
)
!
(
n
−
k
)
!
F
(
x
)
k
−
1
(
1
−
F
(
x
)
)
n
−
k
f
(
x
)
.
{\displaystyle {\begin{aligned}&=nf(x){\binom {n-1}{k-1}}F(x)^{k-1}(1-F(x))^{(n-1)-(k-1)}\\&={\frac {n!}{(k-1)!(n-k)!}}F(x)^{k-1}(1-F(x))^{n-k}f(x).\end{aligned}}}
を得る。
この節では、特に単位区間上の一様分布 からの順序統計量を考え、それがベータ分布族 に属する周辺分布 を持つことを示す。また、任意個の順序統計量の同時分布を求め、累積分布関数を用いて任意の連続型分布のケースに一般化する簡単な方法を示す。
なお、 X 1 , X 2 ,..., Xn が、累積分布関数 F X 無作為標本 とすると、 Ui = F X (Xi ) と置くことによって、標準一様分布にしたがう無作為標本 U 1 ,..., Un が得られることに注意する。また、対応する順序統計量X (1) , X (2) ,..., X (n ) においても、U (i ) = FX (X (i ) ) が成り立つことに注意する。
標準一様分布からのk 番目の順序統計量 U (k ) が [u , u + du ] の範囲に落ちる確率は
n
!
(
k
−
1
)
!
(
n
−
k
)
!
u
k
−
1
(
1
−
u
)
n
−
k
d
u
+
O
(
d
u
2
)
{\displaystyle {n! \over (k-1)!(n-k)!}u^{k-1}(1-u)^{n-k}du+O(du^{2})}
に等しい。よって、 U (k ) の確率密度関数は、
f
U
(
k
)
(
u
)
=
n
!
(
k
−
1
)
!
(
n
−
k
)
!
u
k
−
1
(
1
−
u
)
n
−
k
=
1
B
(
k
,
n
−
k
+
1
)
u
k
−
1
(
1
−
u
)
n
−
k
{\displaystyle f_{U_{(k)}}(u)={n! \over (k-1)!(n-k)!}u^{k-1}(1-u)^{n-k}={1 \over B(k,n-k+1)}u^{k-1}(1-u)^{n-k}}
で与えられる。ここで、B (k , n-k+1 )はベータ関数 を表す。したがって、U (k) はベータ分布 に従う確率変数
U
(
k
)
∼
B
(
k
,
n
+
1
−
k
)
{\displaystyle U_{(k)}\sim B(k,n+1-k)}
となる。
導出の詳細 証明は以下の通り。U (k ) が u と u + du の間にあるためには、標本中の k − 1 個の要素が u より小さく、かつ少なくとも 1 個の要素が u と u + du の間にあることが必要である。複数の要素が後者の範囲にある確率は O (du 2 ) となるため、求める確率は、k − 1 個の観測値が (0, u ) に、1 個が (u , u +du ) に、n − k 個が (u +du , 1) に落ちる場合に相当する。つまり、その確率は
n
!
(
k
−
1
)
!
1
!
(
n
−
k
)
!
u
k
⋅
d
u
⋅
(
1
−
u
−
d
u
)
n
−
k
{\displaystyle {n! \over (k-1)!1!(n-k)!}u^{k}\cdot du\cdot (1-u-du)^{n-k}}
に等しい（詳しくは多項分布 参照）。
同様に、i < j であるとき、2つの順序統計量 U i U j
f
U
(
i
)
,
U
(
j
)
(
u
,
v
)
d
u
d
v
=
n
!
u
i
−
1
(
i
−
1
)
!
(
v
−
u
)
j
−
i
−
1
(
j
−
i
−
1
)
!
(
1
−
v
)
n
−
j
(
n
−
j
)
!
d
u
d
v
{\displaystyle f_{U_{(i)},U_{(j)}}(u,v)~du~dv=n!{\frac {u^{i-1}}{(i-1)!}}{\frac {(v-u)^{j-i-1}}{(j-i-1)!}}{\frac {(1-v)^{n-j}}{(n-j)!}}~du~dv}
これは（O (du dv ) までの項において）、区間 (0, u ), (u , u + du ), (u + du , v ), (v , v + dv ), (v + dv , 1) に落ちる標本要素の数が、各々 i − 1, 1, j − 1 − i , 1, n − j 個となる確率に等しい。
同様にして、より高次の同時分布も導くことができる。おそらく意外なことに、n 次の同時分布は次のような定数になる:
f
U
(
1
)
,
U
(
2
)
,
…
,
U
(
n
)
(
u
1
,
u
2
,
…
,
u
n
)
d
u
1
⋯
d
u
n
=
n
!
d
u
1
⋯
d
u
n
.
{\displaystyle f_{U_{(1)},U_{(2)},\dots ,U_{(n)}}(u_{1},u_{2},\dots ,u_{n})~du_{1}\dotsb du_{n}=n!~du_{1}\dotsb du_{n}.}
この一つの解釈として、「順序のない標本は確率密度 1 を持ち、同じ順序統計量の列に対応する n ! 個の異なる順列を持つ標本が存在する」ことが考えられる。これは、領域 0< u 1 < … < un < 1 の体積が 1 / n ! に等しいことと関係がある。
一様分布での結果の応用として、一般の分布の n 個の標本抽出における k 個目の順序統計量 X (k ) の分布を考える。X (k ) の累積分布関数 FX (k ) に対し、 fX (k ) が対応する確率密度関数とする。このとき、一様分布への変数変換
U
(
k
)
=
F
X
(
k
)
(
x
)
{\displaystyle U_{(k)}=F_{X(k)}(x)}
を行い、fX (k ) に前述の一様分布におけるfU (k ) (u ) の結果を代入すれば、次の確率密度関数が導かれる。
f
X
(
k
)
(
x
)
d
x
=
n
!
(
k
−
1
)
!
(
n
−
k
)
!
[
F
X
(
x
)
]
k
−
1
[
1
−
F
X
(
x
)
]
n
−
k
f
X
(
x
)
d
x
{\displaystyle f_{X_{(k)}}(x)~dx={\frac {n!}{(k-1)!(n-k)!}}[F_{X}(x)]^{k-1}[1-F_{X}(x)]^{n-k}f_{X}(x)~dx}
同様に2つの累積分布関数 F X(j) 、F X(k) に対し、 f X(j) 、f X(k) が対応する確率密度関数とする。このとき、一様分布への変数変換
U
(
j
)
=
F
X
(
j
)
(
x
)
,
U
(
k
)
=
F
X
(
k
)
(
y
)
{\displaystyle U_{(j)}=F_{X(j)}(x),\quad U_{(k)}=F_{X(k)}(y)}
を行い、fX (i ),X (j ) に先ほどの一様分布における同時確率分布fU (i ),U (j ) (u , v )の結果を代入すれば、次式を得る。
f
X
(
j
)
,
X
(
k
)
(
x
,
y
)
d
x
d
y
=
n
!
[
F
X
(
x
)
]
j
−
1
(
j
−
1
)
!
[
F
X
(
y
)
−
F
X
(
x
)
]
k
−
1
−
j
(
k
−
1
−
j
)
!
[
1
−
F
X
(
y
)
]
n
−
k
(
n
−
k
)
!
f
X
(
x
)
f
X
(
y
)
d
x
d
y
{\displaystyle f_{X_{(j)},X_{(k)}}(x,y)~dx~dy=n!{\frac {[F_{X}(x)]^{j-1}}{(j-1)!}}{\frac {[F_{X}(y)-F_{X}(x)]^{k-1-j}}{(k-1-j)!}}{\frac {[1-F_{X}(y)]^{n-k}}{(n-k)!}}f_{X}(x)f_{X}(y)~dx~dy}
同様に高次の場合について考えれば、次式を得る。
f
X
(
1
)
,
…
,
X
(
n
)
(
x
1
,
…
,
x
n
)
d
x
1
⋯
d
x
n
=
n
!
f
X
(
x
1
)
⋯
f
X
(
x
n
)
d
x
1
⋯
d
x
n
{\displaystyle f_{X_{(1)},\dots ,X_{(n)}}(x_{1},\dots ,x_{n})~dx_{1}\dotsb dx_{n}=n!f_{X}(x_{1})\dotsb f_{X}(x_{n})~dx_{1}\dotsb dx_{n}}
但し、x 1 < x 2 < … < xn とする。
以下では、標本中央値によって母集団中央値がどの程度良く推定できるかを、最も単純なケースで考える。
例として、サイズ 6 の無作為標本を考える。この場合の標本中央値は、通常、3 番目と 4 番目の順序統計量で区切られた区間の中点として定義される。しかしこれまでの議論から、この区間が実際に母集団中央値を含む確率は次のようになる:
(
6
3
)
2
−
6
=
5
16
≈
31
%
{\displaystyle {6 \choose 3}2^{-6}={5 \over 16}\approx 31\%}
標本中央値は母集団中央値のおそらく分布に依存しない最良の点推定 であるが、この例は、標本中央値が絶対的な意味で優れているわけではないことを表している。母集団中央値のより良い信頼区間 は、この例の場合、2 番目と 5 番目の順序統計量で囲まれた区間であり、母集団中央値を含む確率は次のようになる:
[
(
6
2
)
+
(
6
3
)
+
(
6
4
)
]
2
−
6
=
25
32
≈
78
%
{\displaystyle \left[{6 \choose 2}+{6 \choose 3}+{6 \choose 4}\right]2^{-6}={25 \over 32}\approx 78\%}
このように小さな標本サイズでは、もしも少なくとも 95% の信頼度が欲しければ、確率 31/32 つまり約 97% で 6 個の観測値の最小値と最大値の間にある、と表現することになってしまう。サイズ 6 は、最小値と最大値で決まる区間が、少なくとも 95% 信頼区間になるような最小の標本サイズである。
もしも分布が対称であることがわかっていて、分散が有限ならば（例えば正規分布 のような場合）、母集団の平均値は中央値に等しく、標本平均値は標本中央値よりもかなり良い信頼区間を持つ。これは、分布に依存しない統計的方法の相対的弱点を表している。他方において、もしも間違った分布に立脚した方法を用いると、推定に大きな系統誤差が生じてしまう可能性もある。
数列からk 番目に小さい（大きい）要素を選択する問題は選択問題と呼ばれ、その解法は選択アルゴリズム と呼ばれる。この問題は数列が巨大であればあるほど難しくなるが、要素の順序が完全に無作為であっても要素数に比例した時間内に答えを求めることができる洗練された選択アルゴリズムが知られている。
![{\displaystyle f_{X_{(k)}}(x)~dx={\frac {n!}{(k-1)!(n-k)!}}[F_{X}(x)]^{k-1}[1-F_{X}(x)]^{n-k}f_{X}(x)~dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f3784b994c87cad529051d08b634ec42b67ba3a5)
![{\displaystyle f_{X_{(j)},X_{(k)}}(x,y)~dx~dy=n!{\frac {[F_{X}(x)]^{j-1}}{(j-1)!}}{\frac {[F_{X}(y)-F_{X}(x)]^{k-1-j}}{(k-1-j)!}}{\frac {[1-F_{X}(y)]^{n-k}}{(n-k)!}}f_{X}(x)f_{X}(y)~dx~dy}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c587c4f87ac7ce5dc5f6220ed6207aae82ebef67)
![{\displaystyle \left[{6 \choose 2}+{6 \choose 3}+{6 \choose 4}\right]2^{-6}={25 \over 32}\approx 78\%}](https://wikimedia.org/api/rest_v1/media/math/render/svg/21deceb9488bbaa33e53d557fd6eb3e102f663cf)