英文名 | Introduction to Deep Learning | |
---|---|---|
科目概要 | データサイエンス学科3年前期、3群科目、必修、講義、2単位 | |
科目責任者 | 齋藤 裕 | |
担当者 | (※は実務経験のある教員) 齋藤 裕※、 来見田 遥一※ | |
講義室 |
科目 | 教科及び教科の指導法に関する科目(高等学校 情報) |
---|---|
各科目に含めることが必要な事項 |
|
機械学習はデータサイエンスにおける必須の技術であり、その中でも大規模なニューラルネットワークをもちいた深層学習は、様々な問題において優れた性能を発揮することが知られている。本講義では、深層学習の基本的な考え方や理論について学ぶ。
まず、ニューラルネットワークの復習を行い、深層学習への導入として、大規模なネットワークを俯瞰的に捉える方法や、演算モジュール、マルチタスク、マルチモーダルなどの考え方について学ぶ。また、深層学習においても重要となる過学習を防止するための技法や、学習を収束させるための技法について学ぶ。次に、深層学習における様々なネットワーク構造(畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、トランスフォーマーなど)について学ぶ。さらに、深層学習のもつ特長的な能力と様々な学習の類型(表現学習、事前学習、転移学習など)について学ぶ。最後に、自己符号化器などの生成モデルについて学ぶ。
パワーポイントによる講義を行う。パワーポイント資料は講義前にホームページ等で配布する。毎回の講義では、理解度確認のために基礎的な内容の課題を出題する。また、数回の講義ごとに、応用的な内容のレポート課題を出題する。最後に、講義全体の内容を出題範囲として試験を行う。
講義内課題、レポート課題については、提出後に模範解答を配布して解説を行う。試験については、採点後に講評を行う。講義に関する質問はメールや対面にて受け付ける。
DP5
回 | 項目 | 内容 | 担当者 | 日時 |
---|---|---|---|---|
1 | ニューラルネットワークのおさらい | 「人工知能・機械学習入門」で学んだニューラルネットワークの理論(ネットワークをもちいたモデルの表現、活性化関数、誤差逆伝播など)について復習する。 | 齋藤 裕 | 4/10② |
2 | 深層学習への導入1 | 大規模なネットワークを俯瞰的に捉える方法や、演算モジュール、マルチモーダル、マルチタスクなどの考え方について学ぶ。 | 齋藤 裕 | 4/17② |
3 | 深層学習への導入2 | 学習カーブ、バッチ、エポック、学習率などの用語の意味や図の見方について学ぶ。 | 齋藤 裕 | 4/24② |
4 | 過学習の防止、学習を収束させる技法 | 過学習を防止するための技法である早期停止やドロップアウト、学習を収束させるための技法であるバッチ正規化などについて学ぶ。 | 齋藤 裕 | 5/8② |
5 | 畳み込みニューラルネットワーク1 | この回から数回にわたって、深層学習における様々なネットワーク構造について学んでいく。まず、畳み込みニューラルネットワークの構造について学ぶ。 | 来見田 遥一 | 5/15② |
6 | 畳み込みニューラルネットワーク2 | 畳み込みニューラルネットワークにおけるフィルターの役割とその可視化について学ぶ。 | 来見田 遥一 | 5/22② |
7 | 再帰型ニューラルネットワーク1 | 再帰型ニューラルネットワークの構造について学ぶ。 | 齋藤 裕 | 5/29② |
8 | 再帰型ニューラルネットワーク2 | 再帰型ニューラルネットワークの一種である長・短期記憶について学ぶ。 | 齋藤 裕 | 6/5② |
9 | トランスフォーマー1 | トランスフォーマーのネットワーク構造について学ぶ。 | 齋藤 裕 | 6/12② |
10 | トランスフォーマー2 | トランスフォーマーにおけるアテンション機構の役割とその可視化について学ぶ。 | 齋藤 裕 | 6/19② |
11 | 深層学習の能力と学習の類型1 | 表現学習について学ぶ。 | 齋藤 裕 | 6/26② |
12 | 深層学習の能力と学習の類型2 | 事前学習、転移学習について学ぶ。 | 齋藤 裕 | 7/3② |
13 | 生成モデル | 生成モデルとはなにか、これまでに学んできた識別モデルとの違いについて理解する。自己符号化器やその他の生成モデルについて学ぶ。 | 齋藤 裕 | 7/10② |
14 | モデルを自分で組み立てる | これまでに学んだ様々なネットワーク構造を組み合わせて、自分で深層学習モデルを構築するための思考トレーニングを行う(演習形式)。 | 齋藤 裕 来見田 遥一 | 7/17② |
15 | まとめ | 全体の確認と復習を行う。 | 齋藤 裕 | 7/24② |
深層学習の大規模なネットワークを俯瞰的に捉えることができる。深層学習の基本的な概念、用語、よくある図の見方を理解できる。深層学習における様々なネットワーク構造と学習の類型を理解できる。
講義内で出題する課題(30%)、レポート課題(35%)、試験(35%)の合計で評価する。
【講義時間外に必要な学修時間:60時間】
予習:事前に配布する講義資料を読み、疑問点を明確にしておくこと。
復習:レポート課題の解答を作成し、提出後に配布する模範解答との比較・考察を行うこと。
【科目ナンバリング:FU301-MT03】
【関連科目:人工知能・機械学習入門、データ解析とその数理Ⅱ、プログラミングⅢ】
(齋藤)国立研究所での深層学習技術の開発・応用経験をもとに、深層学習について講義する。
(来見田)国立研究所における生命科学データの研究開発経験をもとに、深層学習の講義を行う。
種別 | 書名 | 著者・編者 | 発行所 |
---|---|---|---|
教科書 | (なし) | ||
参考書 | 深層学習 改訂第2版 | 岡谷貴之 | 講談社 |
参考書 | ディープラーニングを支える技術 | 岡野原 大輔 | 技術評論社 |