確率分布の時間発展則をマルコフ過程の場合にどのように考えればよいかが，今日の課題である．まずは，遷移確率に相当するものを考える．それは条件つき確率の形で表すことができる．一番簡単なマルコフ過程の状況として，遷移確率あるいはその条件つき確率が直前の時間の状態しか参照しない場合を考える．その場合に，三角関係をみることで，遷移確率についてのある制限をつけることができる．これがChapman-Kolmogorov方程式と呼ばれる関係式になる．次に，この方程式からもう少し進むために，短時間近似を考える．これは遷移の過程として，単一遷移しか考慮しない近似に相当する．これを先のCK方程式に代入することで，いわゆるマスター方程式が出てくる．但し，これはまだ遷移確率の方程式なので，ここから確率分布似関する時間発展則を導きたい．そこは同様な議論で出来るので宿題にした．
次に，このマスター方程式の性質としてのH定理を説明する．H関数として，シャノンエントロピーを導入すると，このマスター方程式で時間発展をする場合にH関数は単調現象することが示される．遷移確率が対称の場合にていねいに計算を追っかけてみた．もう少し条件を緩めて，詳細釣合の条件を満たす範囲でもどうようにH定理を示すことができる．(最後の不等式はJensenの不等式をつかうから変形した不等式を用いる)ただし，そのときのH関数は平衡状態分布とのKLダイバージェンスにとるとよい．H関数の形から，あるいは平衡状態の場合を考えるとこれは非平衡状態でのエントロピーと関係しそうな感じはする．S=-kHとすると，エントロピー最大の状態が平衡状態になる．この物理的な意味はよく考えた方がよい．これはいわゆるH定理の証明ではなく，むしろマルコフ過程から出てくるマスター方程式の持っている性質とみるべきだろう．
さてすこし脇道にそれてしまったが，次に目指したいのは，何かしらLangevin方程式のような運動方程式が与えられたときの，対応する確率分布の時間発展であるマスター方程式の作り方を考える．単位時間あたりの遷移確率がなんとかしてわかれば，それでマスター方程式はできる．しかし，これまでのところだと，それがどのようにしてできるかはまだわからない．まず，マスター方程式の面倒なところをうまくかくす変形を考える．これがKramers-Moyal展開とよばれる展開理論である．マスター方程式に出てくる確率分布の引数をそろえるために，シフト演算を導入するわけである．そうすると積分方程式でなくて，偏微分方程式が出てくる．ただし，展開係数を求める必要がでてきた．それはそれで面倒そうだが，少なくともこの展開係数をもとめればマスター方程式をつくることはできそうであるし，また個別の問題の特殊性はこの展開係数のみに入るともみることができる．次回からはこの係数を見積もることを考える．
- 確率分布に対するマスター方程式を導け．
- Jensenの不等式を証明せよ．
- KL divergencegが非負であることを示せ．
- KL divergenceが単調減少関数であることを示せ．
- 詳細釣合の条件をつかうことの妥当性は?
- マスター方程式から，運動方程式を決定できるか?