確率統計を勉強しておりますが,
最近になって,ふとしたきっかけでベイズ最適化というものに興味をもった.
ベイズ最適化は,以前データサイエンス関連の講演会を聞いたとき,確か産総研(?)の方が説明しており,名前だけは知ってました.とても興味深かったんですが,自分の専門と全然異なるので,モノにするのは無理かなと半ば諦めてました.
そのベイズ最適化とはどういうものかというと・・・
たとえば,ある作物について,天候,温度,湿度などの条件を変えて生育してみる.目標は,最も大きい実がなる条件を見つけ出すことだ.
ところが,一度の実験では1つの条件しか設定できないと仮定する.しかも,実がなるまで最低でも3ヶ月かかるとする.もし,3ヶ月もかからず,たとえば3分で結果が分かるような問題なら,あらゆる条件をしらみつぶしに試すことが可能だろう.
ところが,1回の実験で結果が分かるまで3ヶ月もかかるのであれば,しらみつぶしにやっていたら何100年もかかってしまう.なので,少ない回数で効率良く試さないといけない.
つまり,ある条件で育てて3ヶ月後に実の生育状況がわかったとする.その結果から,2回目はどんな条件に設定して生育させるとよいか?
そして,2回目の実験が終わった時,1回目と2回目の生育状況から3回目はどんな条件に設定するとよいか?
このように繰り返していくが,実の生育が最大となる条件を最も少ない実験回数で見つけ出すことが最終目的だ.一度条件を設定して育てて結果がわかるまで3ヶ月かかる.なので,可能な限り少ない実験回数で最適な条件を見つけるというのはかなり実用的で重要なはずだ.
これ,実験計画法としてとても有用だろうが,あまり一般に「ベイズ最適化」という話を聞かないのはなぜ?(知らなかったのは私だけ?)書籍を調べても,2,3冊程度(?)でほとんどないように思える.実験系の研究者はみんな普通に使ってる手法なんだろうか?
そして,ベイズ最適化を調べていくうちに,どうやらこれはガウス過程回帰というものがベースにあることがわかった.
どういうものなのか,ネットでここ2, 3日調べていたけど,これはかなり面白い!!俄然興味が出てきた!
統計検定の勉強はもちろん基礎として重要なので勉強を続けるけど,ガウス過程回帰とかベイズ最適化は私の中でマイブームになりつつある.
というのも,現在この手法が使えそうな研究テーマを1つ抱えているのです.これまで深層学習を使ってきましたが,ガウス過程回帰のような手法も試してみたい.
だけど,このガウス過程回帰の理論は行列やベクトルが出まくりで,私にはちょっと辛い・・・
そこで,昨年購入した信号処理のための線形代数入門で行列演算の基礎を復習しはじめました(あまり行列やベクトルを使わない古典的な制御理論や信号処理ならそんなに苦手じゃないんだけどね💦)
正直いうと,あれもこれも拡散して勉強すると,結局どれもモノにならないで終わっちゃいそうで,それだけは避けたい.
まぁでも,ガウス過程回帰とベイス最適化も確率統計の応用には違いないので,全く別のことを勉強するわけではないです(言い訳?w)