こんな経験ありませんか？
機械学習で何かすげぇアプリ作りたい！ディープラーニング勉強するか！
文献
誤差関数として、2乗和誤差がよく使われる。\begin{eqnarray}E=\frac{1}{2}\sum_k (y_k – t_k)^2 \end{eqnarray}
文献
2乗和誤差のほかにも、クロスエントロピー誤差も有名である。\begin{eqnarray}E=-\sum_k t_k \log{y_k} \end{eqnarray}
文献
数値計算法として有名なのは、
勾配降下法、AdaGrad, モメンタム・・・
勾配降下法、AdaGrad, モメンタム・・・
機械学習には「最適化理論」がいっぱい
実はこれらは「最適化理論」という分野の内容です。
ざっくり言うと：
点数をつけるための関数（≒基準）を用意し、その基準でベストな解を得るための理論
この文章を深層学習に合わせると、先のフキダシで数式が出てきた理由が少しわかります。
先ほどのフキダシで数式が出てきた理由：
「ニューラルネットワークが良い分類性能を持つようにしたい。
そのために点数をつける関数（誤差関数）を用意し、
その基準でベストなネットワークにする（学習する）」
※細かい理論は次回以降！
いろいろできる子、「最適化理論」。
最適化理論は機械学習以外にもたくさんの応用例があります。
それは、ざっくり説明した文章：
点数をつけるための関数（≒基準）を用意し、その基準でベストな解を得るための理論
に「機械学習」、「ニューラルネット」、「人工知能」に関連した言葉が一切出てこないことからも予想できるかと思います。
※専門家の方、雑な説明で本当にごめんなさい。
したがって機械学習だけでなく、多くの分野に応用が期待できます。
本ブログで取り扱う「最適化理論」
さて、いろんな応用がある「できる子」最適化理論ですが、
本ブログでは
- 機械学習の入門書籍で出てくる最適化理論の内容を8割理解できるようになること
というのを目標としたいと思います。
※筆者の趣味でいろいろ垂れ流す可能性はあります。
次回予告
今回で
- 最適化理論をやるモチベーション
- 本ブログ目標
をご紹介しました。
次回は
をご紹介します。
北海道大学大学院情報科学研究科修士課程修了。
機械メーカにて開発業務に従事したのち、フリーのエンジニア・講師として活動中。