COMPANY

PAGE TOP

BLOG

発散と収斂(大きく学習して、小さくまとまる)

ディープラーニングなどのニューラルネットワークのモデル作成では、学習率(学習過程でどれだけ大きくパラメーターを更新していくか)が重要と言われます。良いモデルを作るためには、学習率は一定にするのではなく、学習が進むたびに変化させることが必要です。一般的には、初期は大きく学習させて、学習が進むにつれて小さくしていきます。なぜなら、最初はどこがもっとも良い場所かがわからないからです。しかし学習を重ねることで、そのポイントはわかってきます。

面白いことに、これは、人の人生、会社の組織においても同様のことが言えます。私たちは生まれてから(特に若年期において)多くのことを学習し、失敗し、そこから学び、自らを変えて、成長していきます。その中で自分のやりたいことを見つけ、そして、最終的には特定の分野に収斂していきます。私自身も、大学を出て就職してから、将来に迷い、留学・転職・独立など様々な学習を通して、今の進むべき道を見つけました。

人が集まってできる組織(会社)も同じことです。当社の創業前後2005年〜2007年は様々な事業をトライアルしました。(先日数えて見たら企画段階で終わったものも含めて10事業ほどありました。)その中で、今のデータ分析にかかわる事業の将来性や面白さに気づき、そこに専門特化して行きました。多分、色々な事業の可能性を試していなければ、ピボットすることもなく、結果として現在のビジネスの可能性に気づく機会も得られなかったと思います。
今後もまた新たな発散と収斂を繰り返して行きたいと思います。

$$ \begin{aligned} \newcommand\argmin{\mathop{\rm arg~min}\limits} \boldsymbol{\beta}_{\text{ridge}} & = \argmin_{\boldsymbol{\beta} \in \mathcal{R^p}} \biggl[ ||\boldsymbol{y}-\boldsymbol{X\beta}||^2 + \lambda ||\boldsymbol{\beta}||^2 \biggr] \\ & = (\boldsymbol{X}^T\boldsymbol{X} + \lambda\boldsymbol{I_{p+1}})^{-1}\boldsymbol{X}^T\boldsymbol{y} \end{aligned} $$
PAGE TOP