ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 単行本（ソフトカバー） – 2016/9/24

知らない用語や概念など多数あったので、何度も読み返し理解を深めております。
ある程度したら、自作ディープラーニングに挑戦したいと思います。

サンプルコードを実際に手元のパソコンで動かしながら、Deep Lerning の基礎が学べます。おすすめです。

本書はタイトルの通り、フレームワークを使わずにPythonを使ってディープラーニングを作りながら学ぶと言う形を取っています。
前書きにある様に、コードのブラックボックス化を避けるために出来るだけ既存の外部ライブラリを使わないと言う方針ですが、グラフ描画のMatplotlibは仕方が無いとしても、ディープラーニングで多用される行列演算にはNumPyが思いっきり使われています。
さらには、NumPyが持つ特徴を活用したテクニックなども使われています。
この辺はNumPyに依存してしまうので、ブラックボックス化を防ぐ為に出来るだけ既存の外部ライブラリを使わない、そしてゼロから作ると言うコンセプトからやや外れている気がします。
出来れば行列の演算もPytho標準の機能とライブラリだけを使って自前で用意し、その上で、NumPy版を「NumPyの機能を活用するとこういう風にシンプルに作れる」と言う比較用として別サンプルで用意した方が良かったと思います。

とは言え、１章で簡単にですがPytonの文法やNumPyによる行列の計算方法、Matplotlibの使い方について、実際に動かしながら確認できるように配慮されています。
その後の章でも必要に応じて行列の計算についての解説とサンプルもありますので、他言語でディープラーニングを構築したいと考えて居る方でもある程度は何とかなると思われます。
（もっとも、インストール時点で最新のLinux版 AnacondaのMatplotlibで確認したところ、動きが変でしたが）

学習の流れですが、まずは基本となるパーセプトロンによる論理回路の原理と実装。そして限界（XOR問題）と解法（多層パーセプトロン）を試しながら学びます。
そして、多層パーセプトロンと（中間層を持つ）ニューラルネットワークの違いについて順を追って学んでいく事になります。
ニューラルネットワークについては、手書き文字認識を例題に、学習に重要な概念である順方向伝搬、損失関数、高速化のためのミニバッチ処理と説明は進んでいきます。
そして、ニューラルネットワークの学習に「認識精度を指標にしてはいけない」と言う事を学びます。そこで勾配法と言う手法が登場します。
その後、誤差逆伝搬法（バックプロパゲーション）、学習の為の最適化や重みの初期値など、かなり実践的な内容が説明されます。
本書では、それらについて通り一遍の原理の紹介で終わらずに、それらの手法は一つでは無く複数あり、それぞれ特徴があると言う事を学べます。

そして、７章でCNN（畳み込み式ニューラルネットワーク）について学びますが、本書ではCNNについてかなり詳しく、そして詳細に説明されています。
最後に８章でさらなる画像認識精度の向上のためにCNNのやや深層化（ディープラーニング）について学びます。
オマケ的にディープラーニングの高速化や実用例、強化学習についても簡単に紹介されて居ます。

本書は単なる実装本では無く、原理から実践的な技法まで詳しく説明されて居ます。
プログラミング言語としてPythonが使われてはいますが、サブタイトルにある様に、Pythonでの実装は実用的なフレームワークを作るのが目的ではなく、あくまでも本書で紹介されて居る原理や技法の理解を深めるためのサンプルであり、本文のサポートという位置づけです。
本文自体も（前書きに書かれて居る通りですが）ディープラーニングを構築する事で理解を深める事を目的に書かれています。

その為、ディープラーニングを詳しく学びたいのであれば、Python自体には興味の無い方、或いは（フレームワークを使うので）自分で実装する気が無い方であっても、本書を読む価値は十分にあります。
逆に、本書にPythonの実用的なディープラーニングのフレームワークが載っていると思って購入すると肩すかしを食らう事になります。
とは言え本書に載ってる知識と技法を使えば、サンプルを改良して自分専用のフレームワークを作る事は可能でしょう。

私自身、Python自体には興味が無いので本書の購入を悩みましたが、実際に購入して買って良かったと感じましたので、同様の方の参考になればとレビューを書かせて頂きました。

この本を２週しました。

この本の素晴らしいところは、ライブラリに依存せずに、numpyだけで機械学習プログラムを実装していることです。

この本で学べることは、「教師あり学習」の「多クラス分類」のみなので、
機械学習の全体像を見てみると、学べることは非常に少ないのが注意点です。

すでに機械学習に詳しい人よりは、「初めて」の人の入門書だと思います。

タイトルには「Deep　Learning」と書いてありますが、無視していいと思います。
勝手ながらこの本にタイトルをつけるとしたら「ニューラルネットワークを利用した多クラス分類問題の実装」だと思います。

また、活性化関数・損失関数などで使用する関数の数学的な説明が少ないため、それぞれの関数をブラックボックスとして使っています。
よって、この本をすべて読み終えてみると「結局、機械学習ってどうやって応用すればいいんだ？」と思い、不完全燃焼に終わります。

しかし、この本は入門書なのでそれでいいと思います。

何度も言いますが、この本は機械学習の中でも、非常に内容が薄いです。
この本をやったからといって、機械学習が学べたと勘違いしないように注意したいです。

この本を終えて、やっと「Python機械学習プログラミング 達人データサイエンティストによる理論と実践」に挑戦しています。
「ゼロから作るDeep Learning」で語られてなかった、数学的な意味や理論がしっかり記載してあるので、
私のような初心者の方は「ゼロから作るDeep Learning」をやってから、「Python機械学習プログラミング 達人データサイエンティストによる理論と実践」に挑戦するのがいいと思います。

「ゼロから作るDeep Learning」では、一つ一つプラグラムを実装していきますが、わざわざプログラムを書くほどの物ではないと思います。
一度読めばわかっていただけると思いますが、４勝までは非常に重要ですが、５章（誤差伝搬法）以降は読み流していいと思います。

Pythonの基礎から始まり、パーセプトロン、ニューラルネットワーク、ニューラルネットワークの学習、誤差逆伝播法、学習に関するテクニック、畳み込みニューラルネットワーク、ディープラーニングと、丁寧に一歩づつ階段を上っていくかのような説明の流れです。
主に画像認識について書かれた良書です。自然言語処理や音声認識については書かれていません。

人の脳神経回路の仕組みを模したニューラルネットワークをどのように実装して、どのように学習させていくべきかを絵図数式、さらにはPython3による実装で解説してくれている。
コンピュータが一見曖昧で判定基準の定義が難しい事象(主に絵図記号)などを、どのようなプロセスを経て学習していくのかを本書を読めばイメージできるようになると思う。
コンピュータの学習過程において、CNNの畳み込み層で画像データを3次元形状(縦、横、チャンネル[R,G,Bなど])を残したままそのまま取り込み加工し、プーリング層にて微小な位置変化に対してロバスト（頑健：データの入力値のズレを吸収)することで、様々な画像パターンで傾向が蓄積学習され、画像データをクラス分け（人を分類、顔を認識）などに繋がる学習テクノロジの一環になるのかなと、個人的に非常に勉強になりました。
現時点(2016年)で、関連する研究機関や業務、海外の論文を入手翻訳できる環境でないとなかなか知ることの出来ない手の内を、一般に向け執筆してくれた事に敬意を送りたい。ディープラーニングに興味を持つ足がかりになる一冊。

記載概要メモは以下の通りです。

---------------------------------------
1.Python入門

pythonインストール
基本的なデータ型
基本構文
Numpyライブラリ：算術計算
Matpolotlibライブラリ：グラフ出力

---------------------------------------
2.パーセプトロン

パーセプトロンはニューラルネットワークの起源。
複数の信号を入力(各重み比重あり)して、一つの信号を出力する。
重みとバイアス値のみ変更して、AND, NAND, OR判定をする関数の作成。
パーセプトロンの限界：XORを再現できず。線形で示された領域しか表現できない。
多層パーセプトロンでXORゲートを実装する。
加算器、基数変換も多層パーセプトロンで再現可能。
2層パーセプトロンがあればコンピュータも理論上実装可能。

---------------------------------------
3.ニューラルネットワーク

パーセプトロンで手動設定していた重みを自動で学習できるのがニューラルネットワーク。
入力層、中間層（隠れ層）、出力層の３層からなる。
入力層で重み付けされた入力値を、隠れ層で重み、バイアス値を利用して多次元配列の行列計算を行い、下記関数群のいずれかをを利用して更に加工して結果を出力する。
活性化関数
・シグモイド関数
　滑らかなグラフ曲線を描く：ニューラルネットワーク学習で重要
・ステップ関数
　0を境に出力をデジタルに変化させる線を描く
　シグモイド関数、ステップ関数ともに非線形関数。
　ニューラルネットワークには、活性化関数に非線形関数が必要。線形の場合は隠れ層の無いネットワークで表現できてしまうため。
・ReLU関数
　入力が0を超えていたらその値を出力、0以下なら0を出力する。

機械学習は2つに大別できる
・分類問題
　データがどのクラスに属するか。人の画像の性別判断。
　分類する数＝出力層のニューロンの数（例：男、女＝２個）
・回帰問題
　入力データから数値の予測。人の画像がから体重を判断。

出力に関して。
・恒等関数
　入力をそのまま出力する。
・ソフトマックス関数　
　全ての複数の入力信号全てから複数の出力に結びつきが及ぶ加工がされる。

以上のことを踏まえ、学習済みのニューラルネットワークの実行演習。

---------------------------------------
4.ニューラルネットワークの学習

ニューラルネットワークやディープラーニングは、人の介入なしに学習できる。
あるデータセットにのみ過度に対応できた状態、過学習を避ける。
ニューラルネットワークの学習で用いられる指標は、損失関数と呼ばれる。一般には２乗和誤差や交差エントロピー誤差などが用いられる。この指標は、精度の悪さを示す。

(1)ミニバッチ学習
ビッグデータなどの数百万、数千万のデータに対して損失関数を計算するのは現実的で無いので、一部のデータを無作為で抽出し、近似として利用する。

(2)勾配の算出
ミニバッチの損失関数を減らすために、各重みのパラメータの勾配を求める。
勾配は損失関数の値を最も減らす方向を示す。

(3)パラメータの更新
重みパラメータを勾配方向に微小量だけ更新する。

ニューラルネットワークの学習
上記(1)〜(3)を繰り返す。

機械学習で使用するデータセットは、訓練データとテストデータに分けて使用する。
訓練データはあくまで訓練用、実際の学習成果はテストデータで評価を行う。

---------------------------------------
5.誤差逆伝播法

損失関数の勾配は数値微分だと計算に時間がかかる。
効率よく行う方法として「誤差逆伝播法」を使用する。

計算グラフで誤差逆伝播法の説明

誤差逆転伝播法に対応したニューラルネットワークの実装

---------------------------------------
6.学習に関するテクニック

ニューラルネットワークの学習
損失関数の値をできるだけ小さくするパラメータを見つけること。

SDG,Momentum,AdaGard,Adamの４種によるパラメータ更新手法の紹介。
それぞれ得手不得手があり全ての問題で優れた手法というのは、今の所無い。

Batch Normalizationのアルゴリズム
ニューラルネットワークの重みの初期値の分布と適度な広がりを持つように調整する方法
・学習を早く進行できる
・初期値にそれほど依存しない
・過学習を抑制する。

Weight decay
過学習を抑制する手法。学習の過程において、重みパラメータで大きな値をとる事に対して、ペナルティを課す方法。

Dropout
ニューラルネットワークが複雑になるとWeight decayだけでは対応が困難いなる場合の手法。ニューロンをランダムに消去しながら学習する手法。

ハイパーパラメータの検証
ハイパーパラメータ：各層のニューロンの数やバッチサイズ、パラメータの更新の際の学習系数やWeight decayなどを指す。
テストデータを使って、ハイパーパラメータの評価を行ってはいけない。テストデータに対して過学習してしまうことを指す。
ハイパーパラメータは専用の確認データが必要。一般的には検証データとよぶ。
ハイパーパラメータの探索は、良い値が存在する範囲を徐々に絞りながら進めるのが良い方法。

---------------------------------------
7.畳み込みニューラルネットワーク

Convolutional Neural Network:CNN(畳み込みニューラルネットワーク)
画像処理、音声認識などで利用される。

新たなレイヤ
・「Convolutionレイヤ（畳み込み層）」
・「Poolingレイヤ（プーリング層）」

畳み込み層：
従来の全結合のニューラルネットワークでは画像データ（縦・横・チャンネル[R,G,Bなど]）の３次元のデータを平らな１次元なデータにする必要があった。
一方、畳み込み層では、入力データをそのまま３次元のデータとして受け取り、同じく３次元のデータとして次の層にデータを出力する。

縦*横の１チャンネル分の情報を持った表をフィルター用の表で積和演算する。
これをチャンネル分（フィルターもチャンネル分ある）繰り返し、結果を加算して、一つの出力を得る。

積和演算には、パディングと呼ばれる出力サイズを調整する値が0の枠を使ったり、積和演算によるフィルターを適応する間隔であるストライドなどのテクニックもある。

プーリング層：
縦横方向の空間を小さくする演算。
・学習するパラーメータはない
・チャンネル数はそのままにする
・微小な位置変化に対してロバスト（頑健）：入力データのズレを吸収

---------------------------------------
8.ディープラーニング

層を深くしたディープなニューラルネットワーク。

ディープラーニングの高速化：
・GPU利用
・複数台分散学習
・演算ビット削減：精度が低くても（ノイズが乗っても）ディープラーニングの出力結果は変わらない頑健性がある。

ディープラーニングの利用：
・物体検出
・セグメンテーション：画像に対してピクセルレベルで被写体の区分けクラス分類を行う
・画像キャプション：画像に説明文章を生成

ディープラーニングの未来：
・画像スタイル変換：写真をゴッホ調に変換など
・画像生成：まったく新しい画像の生成
・自動運転

---------------------------------------
付録A：Softmax-with-Los レイヤの計算グラフ

以上。

実際に全部手入力してキチンと動くさまを見ると、
感覚的に内容を理解することが出来た。
最近流行りのＡＩがどういう仕組みで動いているのかよく分かった。
そのあと、GoogleのTensorFlowを使ってみると、
如何に中身がブラックボックスになっているかよくわかる。
そのあと強化学習のマルコフ決定過程をネットで調べてＤＱＮを作って、
２Ｄの簡単な自動走行プログラムを作った。
自分が全入力したプログラムが、学習するごとに成長する様を見るとちょっと感動した。