データ科学特論 II


WAIC/WBICの数理 (渡辺澄夫ベイズ理論)


講義基本情報

科目名称データ科学特論 II
単位数2
担当教員鈴木 讓(世話教員), 内田雅之
開講学期夏学期集中
2024年 9月8(日)、9(月)、10(火)、12(木)、13日(金)
会場 メディア授業にて実施
受講要件学部1年次レベルの統計学を履修または自習した者
単位認定出席とクラス内活動,レポート課題により総合評価

履修方法

    履修登録をしていない場合、下記(公開講座)からお申し込みください。
  • 大阪大学の大学院生
    • KOANから履修登録をしてください.
      (基礎工学研究科の登録期間.所属部局の登録期間はこれより短いことがあります)
    • 履修登録期間:4月1日(土)~23日(日)(※在学生は3月28日(火)~)
    • 履修登録変更期間:5月30日(火)~6月19日(月)
     
  • 大阪府立大学 大学院工学研究科の大学院生
    • 部局間協定により,特別聴講学生として受け入れます.当該授業科目を履修し考査に合格したときに,所定の単位が与えられ,必要に応じて成績証明書が交付されます.単位互換については,所属大学にお問い合わせください.
    • 大阪府立大学 教育推進課 教務グループ(A3棟)工学担当
    • 受講申請期間:上記教務担当にお問合せください
     
  • 同志社大学 大学院文化情報学研究科の大学院生
    • 部局間協定により,特別聴講学生として受け入れます.当該授業科目を履修し考査に合格したときに,所定の単位が与えられ,必要に応じて成績証明書が交付されます.単位互換については,所属大学にお問い合わせください.
    • 受講申請先:同志社大学 文化情報学部 事務室
    • 受講申請期間:上記事務室にお問合せください
     
  • 武庫川女子大学大学院の大学院生
    • 部局間協定により,特別聴講学生として受け入れます.当該授業科目を履修し考査に合格したときに,所定の単位が与えられ,必要に応じて成績証明書が交付されます.単位互換については,所属大学にお問い合わせください.
    • 受講申請先:武庫川女子大学 **
    • 受講申請期間:上記教務担当にお問合せください.
     
  • その他の聴講希望者
    • 本講義は公開講義として一般の方も受講できます. 無料で受講できますが単位認定や修了証等はありません.
    • 公開講義申込期間: 7月初旬~8月31日 (キャパシティに達した段階で募集を打切ります)

公開講座

本来は、大学院生を対象にした講義になっています。学習の便宜などで受講している学生を優先する場合があります。その点はご了承ください。 申し込みフォーム(Google Form)

問合せ先

        鈴木(suzuki.jyou.es@osaka-u.ac.jp)(@は半角文字に変換してください)

参考図書

鈴木讓「渡辺澄夫ベイズ理論 with R/Stan」共立出版 (2023年9月)
鈴木讓「渡辺澄夫ベイズ理論 with Python/Stan」共立出版 (2024年7月)

講義計画と内容

日程 担当教員講義題目
講義内容
9/8(日)
3限~5限
鈴木讓 先生 (大阪大学) 渡辺澄夫ベイズ理論の全容I (3コマ)

渡辺澄夫ベイズ理論のめざすところ、Stanによる実装、正則の場合の一般論。 「渡辺澄夫ベイズ理論 with R/Python」(共立出版)第0-5章に基づいて、 後半の9コマの予備知識を与える。

9/9(月)
3限~5限
鈴木讓 先生 (大阪大学) 渡辺澄夫ベイズ理論の全容II (3コマ))

代数幾何とゼータ関数、WAICの一般理論、学習係数。 「渡辺澄夫ベイズ理論 with R/Python」(共立出版)第6-8章に基づいて、 後半の9コマの予備知識を与える。

9/10(火)
1限
Andrew Gelman 先生 (Department of Statistics, Columbia University) Effective Number of Parameters in a Statistical Model (1コマ)

Degrees-of-freedom adjustment for estimated parameters is a general idea in small-sample hypothesis testing, uncertainty estimation, and assessment of prediction accuracy. The effective number of parameters gets interesting In the presence of nonlinearity, constraints, boundary conditions, hierarchical models, informative priors, discrete parameters, and other complicating factors. Many open questions remain, including: (a) defining the effective number of parameters, (b) measuring how the effective number of parameters can depend on data and vary across parameter space, and (c) understanding how the effective number of parameters changes as sample size increases. We discuss using examples from demographics, imaging, pharmacology, political science, and other application areas.

9/10(火)
2限
伊庭幸人 先生 (統計数理研究所) 計算統計の立場からベイズ統計と頻度論を結ぶ ― Bayesian IJKとその周辺 (1コマ)

ベイズ的な手法を利用する場合,観測値の背後に頻度論的な母集団を想定して,解析結果の安定性やモデルの妥当性を論じることが行われるが,そのために必要な情報が事後共分散(一般に事後キュムラント)に含まれていることが明らかになってきた.WAICのバイアス補正項の形はそのひとつの現れと考えられるが,本講義では,この流れにそって,事後期待値の感度解析,WAICやPCICなどの情報量規準,ブートストラップ法に対する近似,事後期待値の頻度論的共分散を表現する公式を解説する.また,講演者の最近の研究の紹介として,各観測の対数尤度の事後共分散からなる行列が上記との関連で重要な意味を持ち,これを再生核としたカーネルPCAがベイズ推定量の漸近論の理解に有用なことを示す.

9/10(火)
3限
二宮嘉行 先生 (統計数理研究所) WAIC に基づく予測情報量規準の新たな展開  (1コマ)

近年 WAIC がベイズ解析におけるモデル選択の標準となっていることを踏まえ,その改良の余地を探る.一つの方向として,事前分布の存在を強調するような漸近論を用いることを考える.また,それに基づき,事前分布のクラスが与えられたときに最適な事前分布を与えることを考える.

9/12(木)
3限
回帰問題におけるスケーリング関係  (1コマ) 徳田悟 先生 (九州大学)

回帰問題を題材に、逆温度、ノイズ分散、サンプルサイズをスケール因子とする有限サイズスケーリング関係式を紹介する。これにより、自己平均性が成り立つが一致性は成り立たない極限において現れる、ベイズ的モデル選択の典型性を示す。渡辺澄夫ベイズ理論との関係についても触れる。

9/12(木)
4限
さまざまな予測状況におけるWAIC  (1コマ) 矢野恵佑 先生 (統計数理研究所)

近年、尤度以外の損失を用いる擬ベイズやベイジアンニューラルネットワークといった深層学習との融合など、ベイズ学習を取り巻く環境は多様化している。本講義では、そのような多様な設定でのWAICの適用に向けて、WAICの擬ベイズ・重み付きベイズ推論への拡張、そして高次元(特に過剰パラメタモデルと呼ばれる深層学習を解明するためのモデル)での振る舞いを講義する。

9/12(木)
5限
A Bayesian Information Criterion for Singular Models  (1コマ) Mathias Drton 先生 (Technical University of Munich)

The classical Bayesian information criterion (BIC) of Schwarz forms a trade-off between the fit and the complexity of a parametric statistical model by means of the dimension of model. The specific trade-off is derived through asymptotic analysis of Bayesian marginal likelihood. The BIC is commonly employed to address model selection problems across various applications and is featured in numerous software packages. However, some of these applications involve models whose Fisher information matrices may fail to be invertible along other competing submodels. In such singular models, the refined concept of learning coefficients captures the asymptotic behavior of the marginal likelihood. We present a practical generalization of Schwarz's criterion that leverages theoretical knowledge of learning coefficients in the definition of an information criterion. The method is presented in the context of examples such as determining the number of components in mixture models, the number of factors in latent factor models or the rank in reduced rank regression.

9/13(金)
3限
深層学習と特異学習理論  (1コマ) 渡辺澄夫 先生 (東京工業大学)

多層神経回路網は、今日の人工知能の実現において中心的な役割を果たしており、社会や産業への影響が大きくなるにつれて、その適切な設計法の確立が望まれるようになっている(AIアライメントの問題)。しかしながら、深層学習では、入力と出力が極めて多くの複雑な階層的な構造で結ばれているため、従来の統計的手法だけでは十分な解析を行うことができなかった。特異学習理論は、非線形かつ非正則な学習モデルの数学的な性質を解明するために構成され、現在、AIアライメントの課題の中でどのような役割を果たしうるかについて研究が進められている。この講義では、そうした研究の現況と将来の可能性を紹介する。

9/13(金)
4限
Blow-upを用いた学習係数の計算例  (1コマ) 車谷優樹 先生、鈴木讓 先生 (大阪大学)

ベイズ推測における予測分布の精度を測る評価指標として汎化損失や自由エネルギー等が挙げられるが、これらの漸近挙動を調べる上で、学習係数(実対数閾値)という統計モデルごとに定まる有理数により決定されることが明らかとなっている。本講義では、この学習係数の求め方の1つとして代数幾何学のblow-upという手法を紹介し、混合分布モデルといった統計モデルの学習係数の導出例を紹介する。

9/13(金)
5限
特異点解消と学習係数  (1コマ) 青柳美輝 先生 (日本大学)

学習係数は,特異学習理論において重要な役割を果たす.この講義では,学習係数を理論的に求めるための特異点解消について主に説明する.特に,射影空間やブローアップ,トーリック多様体の概念などについて紹介する.また,近年,得られた,多層線形ニューラルネットワークの学習係数などについて,講義を行う.

事情により講義内容等を変更する可能性があります. なお,各講義時間は下記の通りです.

 1限 8:50-10:20
 4限 10:30-12:00
 3限 13:30-15:00
 4限 15:10-16:40
 5限 16:50-18:20
▲Topへ戻る
Google
WWW を検索 サイト内検索
制作:MMDS