Web Syllabus(講義概要)
トップへ戻る 前のページへ戻る
深層学習入門
英文名Introduction to Deep Learning
科目概要データサイエンス学科3年前期、3群科目、必修、講義、2単位
科目責任者 齋藤 裕
担当者(※は実務経験のある教員) 齋藤 裕※来見田 遥一※
講義室

教員免許取得のための必修科目

科目教科及び教科の指導法に関する科目(高等学校 情報)
各科目に含めることが必要な事項
  • 教科に関する専門的事項 情報システム(実習を含む。)

授業の目的

機械学習はデータサイエンスにおける必須の技術であり、その中でも大規模なニューラルネットワークをもちいた深層学習は、様々な問題において優れた性能を発揮することが知られている。本講義では、深層学習の基本的な考え方や理論について学ぶ。

教育内容

まず、ニューラルネットワークの復習を行い、深層学習への導入として、大規模なネットワークを俯瞰的に捉える方法や、演算モジュール、マルチタスク、マルチモーダルなどの考え方について学ぶ。また、深層学習においても重要となる過学習を防止するための技法や、学習を収束させるための技法について学ぶ。次に、深層学習における様々なネットワーク構造(畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、トランスフォーマーなど)について学ぶ。さらに、深層学習のもつ特長的な能力と様々な学習の類型(表現学習、事前学習、転移学習など)について学ぶ。最後に、自己符号化器などの生成モデルについて学ぶ。

教育方法

パワーポイントによる講義を行う。パワーポイント資料は講義前にホームページ等で配布する。毎回の講義では、理解度確認のために基礎的な内容の課題を出題する。また、数回の講義ごとに、応用的な内容のレポート課題を出題する。最後に、講義全体の内容を出題範囲として試験を行う。
講義内課題、レポート課題については、提出後に模範解答を配布して解説を行う。試験については、採点後に講評を行う。講義に関する質問はメールや対面にて受け付ける。

卒業・学位授与の方針と当該科目の関連

DP5

授業内容(シラバス)

項目内容担当者日時
1ニューラルネットワークのおさらい「人工知能・機械学習入門」で学んだニューラルネットワークの理論(ネットワークをもちいたモデルの表現、活性化関数、誤差逆伝播など)について復習する。齋藤 裕
4/10②
2深層学習への導入1大規模なネットワークを俯瞰的に捉える方法や、演算モジュール、マルチモーダル、マルチタスクなどの考え方について学ぶ。齋藤 裕
4/17②
3深層学習への導入2学習カーブ、バッチ、エポック、学習率などの用語の意味や図の見方について学ぶ。齋藤 裕
4/24②
4過学習の防止、学習を収束させる技法過学習を防止するための技法である早期停止やドロップアウト、学習を収束させるための技法であるバッチ正規化などについて学ぶ。齋藤 裕
5/8②
5畳み込みニューラルネットワーク1この回から数回にわたって、深層学習における様々なネットワーク構造について学んでいく。まず、畳み込みニューラルネットワークの構造について学ぶ。来見田 遥一
5/15②
6畳み込みニューラルネットワーク2畳み込みニューラルネットワークにおけるフィルターの役割とその可視化について学ぶ。来見田 遥一
5/22②
7再帰型ニューラルネットワーク1再帰型ニューラルネットワークの構造について学ぶ。齋藤 裕
5/29②
8再帰型ニューラルネットワーク2再帰型ニューラルネットワークの一種である長・短期記憶について学ぶ。齋藤 裕
6/5②
9トランスフォーマー1トランスフォーマーのネットワーク構造について学ぶ。齋藤 裕
6/12②
10トランスフォーマー2トランスフォーマーにおけるアテンション機構の役割とその可視化について学ぶ。齋藤 裕
6/19②
11深層学習の能力と学習の類型1表現学習について学ぶ。齋藤 裕
6/26②
12深層学習の能力と学習の類型2事前学習、転移学習について学ぶ。齋藤 裕
7/3②
13生成モデル生成モデルとはなにか、これまでに学んできた識別モデルとの違いについて理解する。自己符号化器やその他の生成モデルについて学ぶ。齋藤 裕
7/10②
14モデルを自分で組み立てるこれまでに学んだ様々なネットワーク構造を組み合わせて、自分で深層学習モデルを構築するための思考トレーニングを行う(演習形式)。齋藤 裕
来見田 遥一
7/17②
15まとめ全体の確認と復習を行う。齋藤 裕
7/24②
No. 1
項目
ニューラルネットワークのおさらい
内容
「人工知能・機械学習入門」で学んだニューラルネットワークの理論(ネットワークをもちいたモデルの表現、活性化関数、誤差逆伝播など)について復習する。
担当者
齋藤 裕
日時
4/10②
No. 2
項目
深層学習への導入1
内容
大規模なネットワークを俯瞰的に捉える方法や、演算モジュール、マルチモーダル、マルチタスクなどの考え方について学ぶ。
担当者
齋藤 裕
日時
4/17②
No. 3
項目
深層学習への導入2
内容
学習カーブ、バッチ、エポック、学習率などの用語の意味や図の見方について学ぶ。
担当者
齋藤 裕
日時
4/24②
No. 4
項目
過学習の防止、学習を収束させる技法
内容
過学習を防止するための技法である早期停止やドロップアウト、学習を収束させるための技法であるバッチ正規化などについて学ぶ。
担当者
齋藤 裕
日時
5/8②
No. 5
項目
畳み込みニューラルネットワーク1
内容
この回から数回にわたって、深層学習における様々なネットワーク構造について学んでいく。まず、畳み込みニューラルネットワークの構造について学ぶ。
担当者
来見田 遥一
日時
5/15②
No. 6
項目
畳み込みニューラルネットワーク2
内容
畳み込みニューラルネットワークにおけるフィルターの役割とその可視化について学ぶ。
担当者
来見田 遥一
日時
5/22②
No. 7
項目
再帰型ニューラルネットワーク1
内容
再帰型ニューラルネットワークの構造について学ぶ。
担当者
齋藤 裕
日時
5/29②
No. 8
項目
再帰型ニューラルネットワーク2
内容
再帰型ニューラルネットワークの一種である長・短期記憶について学ぶ。
担当者
齋藤 裕
日時
6/5②
No. 9
項目
トランスフォーマー1
内容
トランスフォーマーのネットワーク構造について学ぶ。
担当者
齋藤 裕
日時
6/12②
No. 10
項目
トランスフォーマー2
内容
トランスフォーマーにおけるアテンション機構の役割とその可視化について学ぶ。
担当者
齋藤 裕
日時
6/19②
No. 11
項目
深層学習の能力と学習の類型1
内容
表現学習について学ぶ。
担当者
齋藤 裕
日時
6/26②
No. 12
項目
深層学習の能力と学習の類型2
内容
事前学習、転移学習について学ぶ。
担当者
齋藤 裕
日時
7/3②
No. 13
項目
生成モデル
内容
生成モデルとはなにか、これまでに学んできた識別モデルとの違いについて理解する。自己符号化器やその他の生成モデルについて学ぶ。
担当者
齋藤 裕
日時
7/10②
No. 14
項目
モデルを自分で組み立てる
内容
これまでに学んだ様々なネットワーク構造を組み合わせて、自分で深層学習モデルを構築するための思考トレーニングを行う(演習形式)。
担当者
齋藤 裕
来見田 遥一
日時
7/17②
No. 15
項目
まとめ
内容
全体の確認と復習を行う。
担当者
齋藤 裕
日時
7/24②

到達目標

深層学習の大規模なネットワークを俯瞰的に捉えることができる。深層学習の基本的な概念、用語、よくある図の見方を理解できる。深層学習における様々なネットワーク構造と学習の類型を理解できる。

評価方法

講義内で出題する課題(30%)、レポート課題(35%)、試験(35%)の合計で評価する。

準備学習(予習・復習等)

【講義時間外に必要な学修時間:60時間】
予習:事前に配布する講義資料を読み、疑問点を明確にしておくこと。
復習:レポート課題の解答を作成し、提出後に配布する模範解答との比較・考察を行うこと。

備考・その他

【科目ナンバリング:FU301-MT03】
【関連科目:人工知能・機械学習入門、データ解析とその数理Ⅱ、プログラミングⅢ】

実務経験の授業への活用方法

(齋藤)国立研究所での深層学習技術の開発・応用経験をもとに、深層学習について講義する。
(来見田)国立研究所における生命科学データの研究開発経験をもとに、深層学習の講義を行う。

教材

種別書名著者・編者発行所
教科書(なし)
参考書深層学習 改訂第2版岡谷貴之 講談社
参考書ディープラーニングを支える技術岡野原 大輔技術評論社
教科書
署名
著者・編者
発行所
参考書
署名
深層学習 改訂第2版
著者・編者
岡谷貴之
発行所
講談社
参考書
署名
ディープラーニングを支える技術
著者・編者
岡野原 大輔
発行所
技術評論社