組合せ論セミナー

第85回 2018年1月12日 15:00〜16:30

藤原良(筑波大学・名誉教授)「深層学習の中の組合せ的デザイン問題」

深層学習で使われる多層型ニューラルネットワークにおいては,基本的には入力層から出力層へは重み行列に入力ベクトルを掛けることによって出力を得る.この膨大な数の重みパラメーターは初期値を乱数で与えて,出力が教師データに近づくように,微調整することによって学習する.しかし統計学の回帰における過適合(overfitting)と同様のことが起こる.つまり,訓練データに関しては期待通りの出力をするが,世の中に出してみたらさっぱり,という現象である.これを過適合または過学習(overlearning)という.これを避けるために,経験的にノードをある確率(30~50%と言われている)でランダムに休ませる方法(ドロップアウト法)がいい結果が得られているため,現在広く使われている.2つの層の間において,それぞれの層のノードをある確率でドロップアウトしたとした時,各ノードの使用頻度は一様分布になるが,使われる重み(完全2部グラフの辺)には大きな偏りができ,必ずしも一様分布とはならない.そこでフィッシャーの実験計画的発想で,重みの使用頻度を一定にするような組み合せ的ぜザインを利用する事を思いついた.過学習の緩和に役立つドロップアウト計画に関して,過去に別目的で提案された利用できそうなデザインも合わせて,議論する.