渡辺澄夫ベイズ理論のめざすところ、Stanによる実装、正則の場合の一般論。 「渡辺澄夫ベイズ理論 with R/Python」(共立出版)第0-5章に基づいて、 後半の9コマの予備知識を与える。

代数幾何とゼータ関数、WAICの一般理論、学習係数。 「渡辺澄夫ベイズ理論 with R/Python」(共立出版)第6-8章に基づいて、 後半の9コマの予備知識を与える。

Degrees-of-freedom adjustment for estimated parameters is a general idea in small-sample hypothesis testing, uncertainty estimation, and assessment of prediction accuracy. The effective number of parameters gets interesting In the presence of nonlinearity, constraints, boundary conditions, hierarchical models, informative priors, discrete parameters, and other complicating factors. Many open questions remain, including: (a) defining the effective number of parameters, (b) measuring how the effective number of parameters can depend on data and vary across parameter space, and (c) understanding how the effective number of parameters changes as sample size increases. We discuss using examples from demographics, imaging, pharmacology, political science, and other application areas.

ベイズ的な手法を利用する場合，観測値の背後に頻度論的な母集団を想定して，解析結果の安定性やモデルの妥当性を論じることが行われるが，そのために必要な情報が事後共分散（一般に事後キュムラント）に含まれていることが明らかになってきた．WAICのバイアス補正項の形はそのひとつの現れと考えられるが，本講義では，この流れにそって，事後期待値の感度解析，WAICやPCICなどの情報量規準，ブートストラップ法に対する近似，事後期待値の頻度論的共分散を表現する公式を解説する．また，講演者の最近の研究の紹介として，各観測の対数尤度の事後共分散からなる行列が上記との関連で重要な意味を持ち，これを再生核としたカーネルPCAがベイズ推定量の漸近論の理解に有用なことを示す．

近年 WAIC がベイズ解析におけるモデル選択の標準となっていることを踏まえ，その改良の余地を探る．一つの方向として，事前分布の存在を強調するような漸近論を用いることを考える．また，それに基づき，事前分布のクラスが与えられたときに最適な事前分布を与えることを考える．

回帰問題を題材に、逆温度、ノイズ分散、サンプルサイズをスケール因子とする有限サイズスケーリング関係式を紹介する。これにより、自己平均性が成り立つが一致性は成り立たない極限において現れる、ベイズ的モデル選択の典型性を示す。渡辺澄夫ベイズ理論との関係についても触れる。

近年、尤度以外の損失を用いる擬ベイズやベイジアンニューラルネットワークといった深層学習との融合など、ベイズ学習を取り巻く環境は多様化している。本講義では、そのような多様な設定でのWAICの適用に向けて、WAICの擬ベイズ・重み付きベイズ推論への拡張、そして高次元(特に過剰パラメタモデルと呼ばれる深層学習を解明するためのモデル)での振る舞いを講義する。

The classical Bayesian information criterion (BIC) of Schwarz forms a trade-off between the fit and the complexity of a parametric statistical model by means of the dimension of model. The specific trade-off is derived through asymptotic analysis of Bayesian marginal likelihood. The BIC is commonly employed to address model selection problems across various applications and is featured in numerous software packages. However, some of these applications involve models whose Fisher information matrices may fail to be invertible along other competing submodels. In such singular models, the refined concept of learning coefficients captures the asymptotic behavior of the marginal likelihood. We present a practical generalization of Schwarz's criterion that leverages theoretical knowledge of learning coefficients in the definition of an information criterion. The method is presented in the context of examples such as determining the number of components in mixture models, the number of factors in latent factor models or the rank in reduced rank regression.

多層神経回路網は、今日の人工知能の実現において中心的な役割を果たしており、社会や産業への影響が大きくなるにつれて、その適切な設計法の確立が望まれるようになっている（AIアライメントの問題）。しかしながら、深層学習では、入力と出力が極めて多くの複雑な階層的な構造で結ばれているため、従来の統計的手法だけでは十分な解析を行うことができなかった。特異学習理論は、非線形かつ非正則な学習モデルの数学的な性質を解明するために構成され、現在、AIアライメントの課題の中でどのような役割を果たしうるかについて研究が進められている。この講義では、そうした研究の現況と将来の可能性を紹介する。

ベイズ推測における予測分布の精度を測る評価指標として汎化損失や自由エネルギー等が挙げられるが、これらの漸近挙動を調べる上で、学習係数（実対数閾値）という統計モデルごとに定まる有理数により決定されることが明らかとなっている。本講義では、この学習係数の求め方の1つとして代数幾何学のblow-upという手法を紹介し、混合分布モデルといった統計モデルの学習係数の導出例を紹介する。

学習係数は，特異学習理論において重要な役割を果たす．この講義では，学習係数を理論的に求めるための特異点解消について主に説明する．特に，射影空間やブローアップ，トーリック多様体の概念などについて紹介する．また，近年，得られた，多層線形ニューラルネットワークの学習係数などについて，講義を行う．