シラバス（深層学習・前半）詳細
『シラバスの科目』は4つあり、E資格の出題範囲3つ目の「深層学習」についてまとめたページ（前半）です。シラバスは（JDLA公式HP）大ボリュームで文字の羅列に見えるため、大枠が理解できるように工夫しています。ディープラーニング基礎として、ネットワークをつなげて人工知能（AI）モデルを作り、データを使ってAIを自動学習させることを学びます。フレームワークを使った実装問題もあり、一般的にはブラックボックスのAI技術詳細を理解している必要があります。AI開発コードの具体的な仕組み、効果的な学習方法や評価ロジック、画像処理や自然言語処理の基礎について出題されます。
いよいよディープラーニングを学びます
順伝播型ネットワーク
MNIST（手書き文字）分類を題材にして学びます。データを与えると自動で学習が進む様子が分かってきます。
シラバス
- 全結合型ニューラルネットワーク
- 損失関数（コスト関数）
- 活性化関数（出力ユニット、隠れユニット）
- アーキテクチャの設計（2022#2より削除）
- 誤差逆伝播法およびその他の微分アルゴリズム
◇キーワード◇
- 最尤推定
- sigmoid、softmax、ReLU、Leaky ReLU、tanh
- 計算グラフ、連鎖率、誤差逆伝播法
深層モデルのための正則化
人間でも過去問中心の勉強では応用力は付きません。偏よらず、効率のいい学習を目指します。
シラバス
- パラメータノルムペナルティー
- データ集合の拡張
- ノイズに対する頑健性
- マルチタスク学習
- 早期終了
- スパース表現
- バギングやその他のアンサンブル手法
- ドロップアウト
◇キーワード◇
- L1正則化、L2正則化、バイアス、バリアンス、ノルム
- Flip、Erase、Crop、Contrast、Brightness、Rotate、MixUp
- 過学習、汎化性能
- バギング、ブースティング、スタッキング
深層モデルのための最適化
学習の到達点（最適解）はどう決まるのでしょうか。より精度が高くなる手法や学習戦略について学びます。
シラバス
- 学習と純粋な最適化の差異
- 基本的なアルゴリズム
- パラメータの初期化戦略
- 適応的な学習率を持つアルゴリズム
- 最適化戦略とメタアルゴリズム
◇キーワード◇
- バッチアルゴリズム、ミニバッチアルゴリズム
- 確率的勾配降下法、モメンタム、AdaGrad、RMSrop、Adam
- バッチ正規化、Layer正規化、Instance正規化、教師あり事前学習
畳み込みネットワーク
シラバス
- 畳み込み処理
- プーリング
構造出力（2022#2より削除）データの種類（2022#2より削除）効率的な畳み込みアルゴリズム（2022#2より削除）特徴量の転移（2022#2より削除）
◇キーワード◇
- CNN、im2col、IoU
- パディング、ストライド、チャネル
回帰結合型ニューラルネットワークと再帰的ネットワーク
自然言語処理の基礎です。言葉をAIに理解させるアルゴリズムを学びます。
シラバス
- 回帰結合型のニューラルネットワーク
- 双方向 RNN
- Encoder-Decoder と Sequence-to-Sequence
深層回帰結合型のネットワーク（2022#2より削除）再帰型ニューラルネットワーク（2022#2より削除）- 長期依存性の課題
- ゲート付きRNN
- 長期依存性の最適化
- Attention（メモリネットワーク）
◇キーワード◇
- LSTM、GRU、Attention
- 勾配のクリッピング
コード実装が問われます。理論とコードをつなげる必要があります。
以上