ラグランジュの未定乗数法は、次のような定理として記述される。
2次元の場合
編集
束縛条件 g (x , y ) = 0f (x , y )(a , b ) を求める問題、つまり
maximize
f
(
x
,
y
)
,
{\displaystyle f(x,y),}
subject to
g
(
x
,
y
)
=
0
{\displaystyle g(x,y)=0}
という問題を考える。ラグランジュ乗数 を λ とし、
F
(
x
,
y
,
λ
)
=
f
(
x
,
y
)
−
λ
g
(
x
,
y
)
{\displaystyle F(x,y,\lambda )=f(x,y)-\lambda g(x,y)}
とおく。点 (a , b ) で ∂g / ∂x ∂g / ∂y α が存在して点 (a , b , α ) で
∂
F
∂
x
=
∂
F
∂
y
=
∂
F
∂
λ
=
0
{\displaystyle {\frac {\partial F}{\partial x}}={\frac {\partial F}{\partial y}}={\frac {\partial F}{\partial \lambda }}=0}
が成り立つ[1]
一般の多次元の場合
編集
n x x 1 , …, xn )R を定義域とする被評価関数 z = f (x m 次元ベクトル値関数
G
(
x
)
=
(
g
1
(
x
1
,
…
,
x
n
)
⋮
g
m
(
x
1
,
…
,
x
n
)
)
=
0
(
1
)
{\displaystyle {\boldsymbol {G}}({\boldsymbol {x}})={\begin{pmatrix}g_{1}(x_{1},\dots ,x_{n})\\\vdots \\g_{m}(x_{1},\dots ,x_{n})\end{pmatrix}}={\boldsymbol {0}}\qquad (1)}
の下で、R 内の点 x 必要条件 は、その点における f の勾配 ベクトル
∇
f
=
t
(
∂
f
∂
x
1
,
…
,
∂
f
∂
x
n
)
{\displaystyle \nabla f={}^{t}{\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}},\dots ,{\dfrac {\partial f}{\partial x_{n}}}\end{pmatrix}}}
が、その点で、m 個の gi それぞれの勾配ベクトルが張る m 次元線型部分空間 に含まれること、すなわち、スカラーの組 λ λ 1 , …, λm )
∇
f
=
∑
i
=
1
m
λ
i
∇
g
i
(
2
)
{\displaystyle \nabla f=\sum _{i=1}^{m}\lambda _{i}\nabla g_{i}\qquad (2)}
が成り立つことである。移項して ∇ を取れば、
f
(
x
)
−
∑
i
=
1
m
λ
i
g
i
(
x
)
{\displaystyle f({\boldsymbol {x}})-\sum _{i=1}^{m}\lambda _{i}g_{i}({\boldsymbol {x}})}
が停留点 をとることである。ただし、{∇g 1 , …, ∇gm } は一次独立 、すなわち
dim
(
∇
g
1
,
…
,
∇
g
m
)
=
m
{\displaystyle \dim(\nabla g_{1},\dots ,\nabla g_{m})=m}
でなければならない。式(1)の m 本と式(2)の n 本の式を連立させて、x λ (n + m ) f の極値を与える候補点が得られる[2]
幾何学的な説明
編集
図1：束縛条件 g (x ,y ) = c f (x ,y ) 図2：図1の等高線地図。赤い線は束縛条件 g (x , y ) = c f (x , y ) 簡単のため2次元 の場合を考えよう。g (x , y ) = c c は与えられた定数である）という条件の下、関数 f (x , y )f の値を高さとしたグラフを考えると、高さが d の f の等高線は f (x , y ) = d f (x , y )f (x , y )f (x , y )f の等高線の接線と曲線の接線が平行となっているか、f の勾配がゼロとなっていることが分かる。ここで g (x , y ) = c g の勾配ベクトル ∇x ,y g と直交し、また f の等高線 f (x , y ) = d f の勾配ベクトル ∇x ,y f と直交することを踏まえると、前述の条件は
∇
x
,
y
f
=
λ
∇
x
,
y
g
{\displaystyle \nabla _{x,y}f=\lambda \nabla _{x,y}g}
と書ける。ここで
∇
x
,
y
f
=
(
∂
f
∂
x
,
∂
f
∂
y
)
,
∇
x
,
y
g
=
(
∂
g
∂
x
,
∂
g
∂
y
)
{\displaystyle \nabla _{x,y}f=\left({\frac {\partial f}{\partial x}},{\frac {\partial f}{\partial y}}\right),\qquad \nabla _{x,y}g=\left({\frac {\partial g}{\partial x}},{\frac {\partial g}{\partial y}}\right)}
である。定数 λ は f の勾配ベクトルと g の勾配ベクトルが平行ではあるが長さが一般に異なるために必要である。λ = 0f (x , y )g (x , y ) = c f の最大値があるため、曲線上で f (x ,y )f (x , y )
前述の式を変形すると
∇
x
,
y
(
f
−
λ
g
)
=
0
{\displaystyle \nabla _{x,y}(f-\lambda g)=0}
となることから、f − λ g
束縛条件のない問題への変換
編集
次の類似した２つの問題を考える
問題Ａ
x
∈
R
n
{\displaystyle x\in \mathbb {R} ^{n}}
g
(
x
)
=
0
{\displaystyle g(x)=0}
f
(
x
)
{\displaystyle f(x)}
問題Ｂ
λ
{\displaystyle \lambda }
x
∈
R
n
{\displaystyle x\in \mathbb {R} ^{n}}
h
(
x
)
=
f
(
x
)
−
λ
g
(
x
)
{\displaystyle h(x)=f(x)-\lambda g(x)}
問題Ａは、束縛条件が存在するため「各変数で偏微分して、偏微分係数がゼロになる点を求める」という解法が使えないのに対し、問題Ｂには束縛条件がないので、「各変数で偏微分して、偏微分係数がゼロになる点を求める」という解法が使える。ラグランジュの未定乗数法は、問題Ａと問題Ｂが、実質的に同じであることを言うものである。
問題Ｂ→問題Ａ
X
∈
R
n
{\displaystyle X\in \mathbb {R} ^{n}}
λ
{\displaystyle \lambda }
X
{\displaystyle X}
g
(
X
)
=
0
{\displaystyle g(X)=0}
X
{\displaystyle X}
X
{\displaystyle X}
g
(
x
)
=
0
{\displaystyle g(x)=0}
x
{\displaystyle x}
f
(
x
)
=
f
(
x
)
−
λ
g
(
x
)
≤
f
(
X
)
−
λ
g
(
X
)
=
f
(
X
)
{\displaystyle f(x)=f(x)-\lambda g(x)\leq f(X)-\lambda g(X)=f(X)}
X
{\displaystyle X}
問題Ａ→問題Ｂ
X
∈
R
n
{\displaystyle X\in \mathbb {R} ^{n}}
c
(
t
)
∈
R
n
{\displaystyle c(t)\in \mathbb {R} ^{n}}
t
∈
(
−
1
,
1
)
{\displaystyle t\in (-1,1)}
g
(
c
(
t
)
)
=
0
{\displaystyle g(c(t))=0}
X
{\displaystyle X}
c
(
0
)
=
X
{\displaystyle c(0)=X}
F
(
t
)
=
f
(
c
(
t
)
)
{\displaystyle F(t)=f(c(t))}
t
{\displaystyle t}
d
F
d
t
=
∑
i
=
1
n
∂
f
∂
x
i
d
c
i
d
t
=
∇
f
⋅
c
′
(
t
)
{\displaystyle {\frac {dF}{dt}}=\sum _{i=1}^{n}{\frac {\partial f}{\partial x_{i}}}{\frac {dc_{i}}{dt}}=\nabla f\cdot c'(t)}
∇
f
=
(
∂
f
/
∂
x
1
,
⋯
,
∂
f
/
∂
x
n
)
{\displaystyle \nabla f=(\partial f/\partial x_{1},\cdots ,\partial f/\partial x_{n})}
c
′
(
t
)
=
(
d
c
1
/
d
t
,
⋯
,
d
c
n
/
d
t
)
{\displaystyle c'(t)=(dc_{1}/dt,\cdots ,dc_{n}/dt)}
⋅
{\displaystyle \cdot }
g
(
c
(
t
)
)
=
0
{\displaystyle g(c(t))=0}
t
{\displaystyle t}
∇
g
⋅
c
′
(
t
)
=
0
{\displaystyle \nabla g\cdot c'(t)=0}
g
(
c
(
t
)
)
=
0
{\displaystyle g(c(t))=0}
X
{\displaystyle X}
t
=
0
{\displaystyle t=0}
c
(
0
)
=
X
{\displaystyle c(0)=X}
F
(
t
)
=
f
(
c
(
t
)
)
{\displaystyle F(t)=f(c(t))}
d
F
/
d
t
(
0
)
=
∇
f
(
X
)
⋅
c
′
(
0
)
=
0
{\displaystyle dF/dt(0)=\nabla f(X)\cdot c'(0)=0}
c
′
(
0
)
{\displaystyle c'(0)}
X
{\displaystyle X}
X
{\displaystyle X}
∇
g
(
X
)
⋅
v
=
0
{\displaystyle \nabla g(X)\cdot v=0}
v
∈
R
n
{\displaystyle v\in \mathbb {R} ^{n}}
∇
f
(
X
)
⋅
v
=
0
{\displaystyle \nabla f(X)\cdot v=0}
∇
g
(
X
)
≠
0
{\displaystyle \nabla g(X)\neq 0}
∇
f
(
X
)
{\displaystyle \nabla f(X)}
∇
g
(
X
)
{\displaystyle \nabla g(X)}
a
{\displaystyle a}
∇
g
(
X
)
{\displaystyle \nabla g(X)}
b
{\displaystyle b}
∇
g
(
X
)
{\displaystyle \nabla g(X)}
e
{\displaystyle e}
a
=
(
∇
f
(
X
)
⋅
e
)
e
{\displaystyle a=(\nabla f(X)\cdot e)e}
b
=
∇
f
(
X
)
−
a
{\displaystyle b=\nabla f(X)-a}
∇
f
(
X
)
=
a
+
b
{\displaystyle \nabla f(X)=a+b}
∇
g
(
X
)
⋅
b
=
0
{\displaystyle \nabla g(X)\cdot b=0}
v
=
b
{\displaystyle v=b}
0
=
∇
f
(
X
)
⋅
b
=
a
⋅
b
+
b
⋅
b
=
b
⋅
b
{\displaystyle 0=\nabla f(X)\cdot b=a\cdot b+b\cdot b=b\cdot b}
b
=
0
{\displaystyle b=0}
∇
f
(
X
)
{\displaystyle \nabla f(X)}
∇
g
(
X
)
{\displaystyle \nabla g(X)}
∇
f
(
X
)
=
λ
∇
g
(
X
)
{\displaystyle \nabla f(X)=\lambda \nabla g(X)}
∇
g
(
X
)
≠
0
{\displaystyle \nabla g(X)\neq 0}
この
λ
{\displaystyle \lambda }
∇
f
(
X
)
−
λ
∇
g
(
X
)
=
0
{\displaystyle \nabla f(X)-\lambda \nabla g(X)=0}
∂
h
∂
x
i
(
X
)
=
∂
f
∂
x
i
(
X
)
−
λ
∂
g
∂
x
i
(
X
)
=
0
{\displaystyle {\frac {\partial h}{\partial x_{i}}}(X)={\frac {\partial f}{\partial x_{i}}}(X)-\lambda {\frac {\partial g}{\partial x_{i}}}(X)=0}
X
{\displaystyle X}
2次元問題で、束縛条件が1つの場合には 、以下のように連立方程式を作ってもよい：
∂
f
∂
x
+
λ
′
∂
f
∂
y
=
0
{\displaystyle {\frac {\partial f}{\partial x}}+\lambda '{\frac {\partial f}{\partial y}}=0}
∂
g
∂
x
+
λ
′
∂
g
∂
y
=
0
{\displaystyle {\frac {\partial g}{\partial x}}+\lambda '{\frac {\partial g}{\partial y}}=0}
g
(
x
,
y
)
=
0
{\displaystyle g(x,y)=0}
ただしこの場合の λ は、もとの定理の λ とは異なる。
この変則版は、極値となる点で全微分 df = 0 となる方向と、dg = 0 となる方向が平行であることから導かれる。
物理学 の問題を解くとき、ラグランジュの未定乗数は単なる方便ではなく、ある物理量 を表すことが多い。
流体力学
編集
流体力学 において、非圧縮性流れ のナビエ-ストークス方程式 を解く場合、圧力 は速度ベクトル場が連続の式 という束縛条件を満たすための未定乗数として求められる[3]
情報理論
編集
情報理論 的エントロピー が最大となる離散的確率分布 を見出すことを考えよう。このときエントロピーは確率 を変数とする関数で、
f
(
p
1
,
p
2
,
…
,
p
n
)
=
−
∑
k
=
1
n
p
k
log
2
p
k
{\displaystyle f(p_{1},p_{2},\dots ,p_{n})=-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}}
となる。もちろんこれらの確率の合計は1に等しく、束縛条件を表す関数は
g
(
p
1
,
p
2
,
…
,
p
n
)
=
∑
k
=
1
n
p
k
−
1
{\displaystyle g(p_{1},p_{2},\dots ,p_{n})=\sum _{k=1}^{n}p_{k}-1}
となる。ラグランジュ乗数を用いてエントロピー最大の点を見つけよう。すべての i （1から n をとる）に対して次の条件が必要である：
∂
∂
p
i
(
f
+
λ
g
)
=
0.
{\displaystyle {\frac {\partial }{\partial p_{i}}}(f+\lambda g)=0.}
従って
∂
∂
p
i
(
−
∑
k
=
1
n
p
k
log
2
p
k
+
λ
(
∑
k
=
1
n
p
k
−
1
)
)
=
0.
{\displaystyle {\frac {\partial }{\partial p_{i}}}\left(-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}+\lambda (\sum _{k=1}^{n}p_{k}-1)\right)=0.}
これら n 個の方程式 から次の式が得られる：
−
(
1
ln
2
+
log
2
p
i
)
+
λ
=
0.
{\displaystyle -\left({\frac {1}{\ln 2}}+\log _{2}p_{i}\right)+\lambda =0.}
これは、すべての pi が等しいということを示している（変数は λ だけだから）。
束縛条件 ∑k pk = 1 を使って、
p
i
=
1
n
{\displaystyle p_{i}={\frac {1}{n}}}
が分かる。すなわち、すべての事象が等確率の一様分布 がエントロピー最大の分布である：つまり他のどんな確率分布の場合よりも、確率変数が実際に観測されたときに得られる情報量の期待値 が大きいということである。
ミクロ経済学
編集
制約条件を予算制約線 、函数を効用関数 、極値を最適消費点 と置き換えることでミクロ経済学 における最適消費点を求める事に利用される[4]
統計力学
編集
統計力学 においては、統計集団 があるエネルギー状態 をとる確率を導出するために未定乗数法が用いられる。
この節の
加筆 が望まれています。
（2021年10月 ）
解析力学
編集
作用積分 が S [q ]n 個の拘束条件 ϕa q , t ) = 0, (a = 1, ..., n ) が課せられているとき、この系の運動方程式は λa を未定乗数とする条件付き変分
δ
S
δ
q
+
∑
a
=
1
n
λ
a
∂
ϕ
a
∂
q
=
0
{\displaystyle {\frac {\delta S}{\delta q}}+\sum _{a=1}^{n}\lambda _{a}{\frac {\partial \phi ^{a}}{\partial q}}=0}
により表される[5] δS /δq は汎関数微分 である。ラグランジュの運動方程式 で表すなら、ラグランジアン を
L
(
q
,
q
˙
,
t
)
+
∑
a
=
1
n
λ
a
ϕ
a
(
q
,
t
)
{\displaystyle L(q,{\dot {q}},t)+\sum _{a=1}^{n}\lambda _{a}\phi ^{a}(q,t)}
に置き換えることで拘束を考慮した運動方程式が得られる。
参考文献
編集
関連項目
編集
外部リンク
編集
