データ科学特論 II


深層学習の数理


8/25(木)今泉先生の講義と8/27(木)園田先生の講義の日程が入れ替わりました。ご了承下さい (2022年7月25日)

講義基本情報

科目名称データ科学特論 II
単位数2
担当教員鈴木 讓(世話教員), 狩野 裕
開講学期夏学期集中
(2022年8月24日(木)〜8月27日(土),8月29日(月)
会場 メディア授業にて実施
受講要件学部1年次レベルの統計学を履修または自習した者
単位認定出席とクラス内活動,レポート課題により総合評価

履修方法

  • 大阪大学の大学院生
    • KOANから履修登録をしてください.
      (基礎工学研究科の登録期間.所属部局の登録期間はこれより短いことがあります)
    • 履修登録期間:4月1日〜4月22日
    • 履修登録変更期間:6月11日〜6月17日
     
  • 大阪府立大学 大学院工学研究科の大学院生
    • 部局間協定により,特別聴講学生として受け入れます.当該授業科目を履修し考査に合格したときに,所定の単位が与えられ,必要に応じて成績証明書が交付されます.単位互換については,所属大学にお問い合わせください.
    • 大阪府立大学 教育推進課 教務グループ(A3棟)工学担当
    • 受講申請期間:上記教務担当にお問合せください
     
  • 同志社大学 大学院文化情報学研究科の大学院生
    • 部局間協定により,特別聴講学生として受け入れます.当該授業科目を履修し考査に合格したときに,所定の単位が与えられ,必要に応じて成績証明書が交付されます.単位互換については,所属大学にお問い合わせください.
    • 受講申請先:同志社大学 文化情報学部 事務室
    • 受講申請期間:上記事務室にお問合せください
     
  • 武庫川女子大学大学院の大学院生
    • 部局間協定により,特別聴講学生として受け入れます.当該授業科目を履修し考査に合格したときに,所定の単位が与えられ,必要に応じて成績証明書が交付されます.単位互換については,所属大学にお問い合わせください.
    • 受講申請先:武庫川女子大学 **
    • 受講申請期間:上記教務担当にお問合せください.
  • その他の聴講希望者
    • 本講義は公開講義として統計教育に係る教員や他大学大学院生等に公開します.無料で受講できますが単位認定や修了証等はありません.受講人数に制限があります.
    • 公開講義申込書: こちらのwebフォームから申し込んでください
    • 公開講義申込期間: 7月1日から8月23日まで (zoomなどの容量のため、申込みを打切る場合があります)

    問合せ先

            鈴木(j-suzuki@sigmath.es.osaka-u.ac.jp)(@は半角文字に変換してください)

    講義計画と内容

    日程 担当教員講義題目
    講義内容
    8/24(水)
    6限
    8/25(木)
    1限〜2限
    鈴木 讓 先生 (大阪大学) 深層学習の解析に必要な不等式(3コマ)

    深層学習の数理、特に汎化誤差の解析に必要な経験過程の理論(特に不等式)を紹介する。単調(証明ばかり)にならないよ う、意味や応用も説明する。「データ科学特論II」(深層学習の数理)の他の4 講義を理解するために必要な項目のみを用意 した。この他、春夏学期の大学院科目「機械学習の数理I」(カーネルの機械学習への応用)を履修すればなおよい。最初の コマでは、Hoeffding、Bernstein、Azuma-Hoeffding などの古典的な不等式を説明する。2 コマ目は、エントロピー的な方法 (Prekopa-Leinder 不等式)、Wasserstein 距離の情報不等式、関数Hoeffding 不等式と関数Bernstein 不等式、Rademacher 複雑度を用いた一様則、Rademacher 複雑度の上界について述べる。最後のコマでは、Coverting Number とPacking number, Dudley のエントロピー積分限界、Slepian の不等式、Sudakov-Fernique の不等式、ガウス集中不等式、Sudakov の 下界について述べる。

    8/25(木)
    3限〜5限
    園田翔 先生 (理研AIP) ニューラルネットの関数解析的側面(3コマ)

    深層学習の主役であるニューラルネットの基礎理論について,特に関数解析・調和解析的な側面を取り上げる.ニューラルネットはニューロンが縦横無尽に接続した構造を持つ.1つのニューロンは単純だが,その集合体であるニューラルネットは複雑な情報処理を実現できる.特に全結合型の隠れ層を1つ備えたニューラルネットを解析する方法は1990年代に発達した.90年代理論の主たる成果の1つは積分表現とリッジレット変換である.これらの理論はカーネル法やスパース信号処理の先駆となった.深層学習理論の興隆に伴い,積分表現は再び脚光を浴び,深層学習時代の多様なネットワーク構造に動機付けられて新展開を遂げている.本講義では,積分表現とリッジレット変換に焦点を当て,その背景から深層学習理論における利用例までを解説する.

    8/26(金)
    3限〜5限
    唐木田亮 先生 (産業技術総合研究所) ランダム神経回路の数理(3コマ)

    ニューラルネットワークとその学習ダイナミクスを理解するために, 高次元で複雑な挙動を少数の変数で記述して解析することがある. 統計神経力学あるいは統計力学的解析は, モデルや学習に内存するランダムネスを粗視化して解析するアプローチをとる. 深層学習では, パラメータがランダム初期化されているため, このような解析は実践的な訓練の方針やモデルの設計にも深く関係してくる. 本講義ではまず, ランダム神経回路に基づいた数理的解析の基本的な考え方と方法を紹介する. また, 非線形ランダム行列理論や学習ダイナミクスの統計力学的解析における最近の発展まで概観する.

    8/27(土)
    3限〜5限
    今泉 允聡 先生 (東京大学) 過剰パラメータ理論の基礎(3コマ)

    高次元なデータや過剰にパラメータを持つ統計モデルを扱う統計学の近年の進展を、関連する理論の基礎から解説する。近年の計算機の性能の高まりにより、深層学習をはじめとしたパラメータを大量に持つ統計モデルの活用が進み、それに伴ってこれらを適切に解析する統計学が発展している。本講義では、まずこれらを解析する理論的な道具として、経験過程論の基礎を扱う。その後、過剰にパラメータを持つ統計モデルの新しい理論として、二重降下や良性過適合の理論を解説する。加えて、深層学習の統計学的な側面を紹介し、過剰パラメータ理論との関連を述べる。

    8/29(月)
    3限〜5限
    鈴木大慈 先生 (東京大学) 深層学習と特徴学習の理論(3コマ)

    本講義では,深層学習の理論を特に統計的学習理論と最適化理論の観点から解説する.深層学習は様々な分野で利用されているが,理論的にはまだ未解明な部分が多く,現在,その解明に向けて様々な観点から精力的に研究が行われている.深層学習の理論は,大まかに「近似理論」「汎化理論」「最適化理論」という3つの項目に大別され,関数解析や確率論といった様々な数学的道具を用いて研究が進められている.本講義では,統計的学習理論の基礎から,二重降下やニューラルタンジェントカーネル,平均場解析といった最近の理論研究の潮流を解説する.それによって深層学習は「なぜ高い予測性能を出すのか」「なぜ膨大なパラメータ数にもかかわらず汎化するのか」といった問題に対する理論的解析を与える.特に,特徴学習が学習に与える影響,および特徴学習の学習ダイナミクスについて重点的に解説する.

    事情により講義内容等を変更する可能性があります. なお,各講義時間は下記の通りです.

     1限 8:50-10:20
     2限 10:30-12:00
     3限 13:30-15:00
     4限 15:10-16:40
     5限 16:50-18:20
     6限 18:30-20:00
    ▲Topへ戻る
    Google
    WWW を検索 サイト内検索
    制作:MMDS