深層学習の数理、特に汎化誤差の解析に必要な経験過程の理論(特に不等式)を紹介する。単調(証明ばかり)にならないよ う、意味や応用も説明する。「データ科学特論II」(深層学習の数理)の他の4 講義を理解するために必要な項目のみを用意 した。この他、春夏学期の大学院科目「機械学習の数理I」(カーネルの機械学習への応用)を履修すればなおよい。最初の コマでは、Hoeffding、Bernstein、Azuma-Hoeffding などの古典的な不等式を説明する。2 コマ目は、エントロピー的な方法 (Prekopa-Leinder 不等式)、Wasserstein 距離の情報不等式、関数Hoeffding 不等式と関数Bernstein 不等式、Rademacher 複雑度を用いた一様則、Rademacher 複雑度の上界について述べる。最後のコマでは、Coverting Number とPacking number, Dudley のエントロピー積分限界、Slepian の不等式、Sudakov-Fernique の不等式、ガウス集中不等式、Sudakov の 下界について述べる。

深層学習の主役であるニューラルネットの基礎理論について，特に関数解析・調和解析的な側面を取り上げる．ニューラルネットはニューロンが縦横無尽に接続した構造を持つ．１つのニューロンは単純だが，その集合体であるニューラルネットは複雑な情報処理を実現できる．特に全結合型の隠れ層を１つ備えたニューラルネットを解析する方法は1990年代に発達した．90年代理論の主たる成果の１つは積分表現とリッジレット変換である．これらの理論はカーネル法やスパース信号処理の先駆となった．深層学習理論の興隆に伴い，積分表現は再び脚光を浴び，深層学習時代の多様なネットワーク構造に動機付けられて新展開を遂げている．本講義では，積分表現とリッジレット変換に焦点を当て，その背景から深層学習理論における利用例までを解説する．

ニューラルネットワークとその学習ダイナミクスを理解するために, 高次元で複雑な挙動を少数の変数で記述して解析することがある. 統計神経力学あるいは統計力学的解析は, モデルや学習に内存するランダムネスを粗視化して解析するアプローチをとる. 深層学習では, パラメータがランダム初期化されているため, このような解析は実践的な訓練の方針やモデルの設計にも深く関係してくる. 本講義ではまず, ランダム神経回路に基づいた数理的解析の基本的な考え方と方法を紹介する. また, 非線形ランダム行列理論や学習ダイナミクスの統計力学的解析における最近の発展まで概観する.

高次元なデータや過剰にパラメータを持つ統計モデルを扱う統計学の近年の進展を、関連する理論の基礎から解説する。近年の計算機の性能の高まりにより、深層学習をはじめとしたパラメータを大量に持つ統計モデルの活用が進み、それに伴ってこれらを適切に解析する統計学が発展している。本講義では、まずこれらを解析する理論的な道具として、経験過程論の基礎を扱う。その後、過剰にパラメータを持つ統計モデルの新しい理論として、二重降下や良性過適合の理論を解説する。加えて、深層学習の統計学的な側面を紹介し、過剰パラメータ理論との関連を述べる。

本講義では，深層学習の理論を特に統計的学習理論と最適化理論の観点から解説する．深層学習は様々な分野で利用されているが，理論的にはまだ未解明な部分が多く，現在，その解明に向けて様々な観点から精力的に研究が行われている．深層学習の理論は，大まかに「近似理論」「汎化理論」「最適化理論」という3つの項目に大別され，関数解析や確率論といった様々な数学的道具を用いて研究が進められている．本講義では，統計的学習理論の基礎から，二重降下やニューラルタンジェントカーネル，平均場解析といった最近の理論研究の潮流を解説する．それによって深層学習は「なぜ高い予測性能を出すのか」「なぜ膨大なパラメータ数にもかかわらず汎化するのか」といった問題に対する理論的解析を与える．特に，特徴学習が学習に与える影響，および特徴学習の学習ダイナミクスについて重点的に解説する．