2 日目以降の講義の準備として、下記項目について最低限のことを説明する: 線形回帰、劣微分、Lasso、Ridge、elastic ネット、λ の値の設定、線形回帰のLasso の一般化、2 値のロ ジスティック回帰、多値のロジスティック回帰、ポアッソン回帰、生存時間解析。

2 日目以降の講義の準備として、下記項目について最低限のことを説明する: グループ数が1 の場合、近接勾配法、グループLasso、スパースグループLasso、オーバーラップグルー プLasso、目的変数が複数個ある場合のグループLasso、ロジスティック回帰におけるグループLasso、 一般化加法モデルにおけるグループLasso、 Fused Lasso の適用事例、動的計画法によるFused Lasso、LARS、Lasso の双対問題と一般化Lasso、 ADMM。

2 日目以降の講義の準備として、下記項目について最低限のことを説明する: グラフィカルモデル、グラフィカルLasso、疑似尤度を用いたグラフィカルモデルの推定、Joint グラフ ィカルLasso、特異値分解、Eckart-Young の定理、低ランク近似のスパースの適用、主成分分析、K-means クラスタリング、凸クラスタリング。

因子分析モデルは、多変量データの相関構造から背後にある潜在因子を推定するモデルである。このモ デルに含まれる主要なパラメータである因子負荷行列は、通常、2 段階推定法によって求められる。具体 的には、まず、最尤法などにより推定を行い、その後、因子回転を施すことで解釈しやすい因子負荷行列 を得る。本講義では、この2 段階推定を一般化したスパース因子分析について解説する。とくに、非凸ペ ナルティであるMinimax Concave Penalty (MCP)や因子負荷行列の各行ベクトルの要素の積から構成さ れるProduct-based Elastic Net (Prenet)を用いたスパース因子分析を紹介する。さらに、それらを用いた 実例についても説明する。

スクリーニングとは, モデルを推定する前にあらかじめ重要な変数を選択するための手法であり, 高次 元データ解析において特に有用なものである. 実際, Lasso などのスパース正則化法を直接適用せずに, スクリーニング後にモデルを推定することで数値的に予測精度が改善されることがしばしばある. 本講 義では, 周辺モデルに基づくスクリーニングについて解説する.

本講義では地理的加重回帰とGMANOVA に対するスパースグループLasso の適用例を紹介する. 地理 的加重回帰は空間データに対する局所推定法で, 観測地点ごとに重み付き推定を行う. そのため, 説明変 数の選択問題として地点ごとの選択と全地点で共通の選択の2 種類が考えられる. GMANOVA は例えば 経時測定データに対して用いられる多変量回帰の手法である. 経時トレンドに多項式を当てはめたとす ると, 説明変数の変数選択と多項式の次数選択が考えられる. これらのモデルにスパースグループLasso を適用することで, それぞれの2 つの選択問題を同時に行うことができる.

スパース推定の活用事例と発展的手法の開発について紹介する。特に、スパース推定は産学のデータ科 学の現場で広く活用されており、欠損データや定期解析といった現場特有の課題に対して新たなスパー ス推定法が開発されていることを示す。さらに、手法やハイパーパラメータごとに興味深い漸近的挙動 が現れ、理論的に解析できることを示す。

スパース推定における正則化パラメータの選択問題を扱う．現状では，たとえスパース推定のためのAIC がシンプルな形で得られていて，かつ目的が良い予測をしようというものであっても，必ずしもそのAIC は用いられておらず，つまり標準手法は定まっていないように見受けられる．本回では，そういった標準 手法が定まっていないケース，正確には正規線形回帰分析でLASSO を用いるケースで，LASSO とAIC を組み合わせて推定したモデルの性能評価を数値実験でおこなう．具体的には，LASSO とAIC を組み合 わせたとき，リッジ正則化法とAIC を組み合わせたとき，最尤法と通常のAIC を組み合わせてベストサ ブセット回帰を用いたとき，およびLASSO と交差検証法を組み合わせたときを，予測二乗誤差の評価を 通じて比較する．また，その交差検証法で，データの分割の仕方で推定結果がどのくらい違ってくるのか を，予測二乗誤差や選ばれたモデルの自由度のばらつきを数値評価することで確認する．また，時間の許 す範囲で，スパース推定のためのAIC を導出したり，BIC など他の情報量規準を紹介したりする．

ベイズ的枠組みでは縮小事前分布を用いることで柔軟なスパースモデリングが可能となる。本講義では、 Bayesian Lasso や馬蹄事前分布などの代表的な縮小事前分布を紹介し、それらがスパース性をどのよう に誘導するかを解説する。また、これらのモデルを適用するためのマルコフ連鎖モンテカルロ法につい て解説する。また、縮小事前分布を活用したモデル例や応用例を紹介する。

Lasso 法は、近年、医療データをはじめとする高次元データの予測や特徴の解釈に広く活用されている。 しかし、Lasso は線形モデルであり、非線形な関係性を捉えるのが難しいという課題がある。本講義では、 この問題を克服するための非線形拡張手法である Hilbert-Schmidt Independence Criterion (HSIC) Lasso について、アルゴリズムの導出から実際のアプリケーションへの応用まで詳しく紹介する。

Inherent to most multivariate models, the curse of dimensionality refers to the explosive increase in the number of parameters to be estimated as the dimension of the underlying vector of observations grows. Within this framework, balancing a model that is sufficiently rich in parameters to capture complex relationships while remaining parsimonious enough to avoid overfitting is a key challenge. This challenge can be addressed using sparsity-based methods, which focus on variable selection to recover the true signal when the model has a sparse representation. Penalization techniques are typically applied to the objective function (e.g., likelihood, least squares) during estimation to produce an estimator with many coefficients set to zero. The following points will be considered: - Examples of multivariate models suffering from the curse of dimensionality - Properties of sparsity-based estimators - Implementation issues.

スパース推定におけるアルゴリズムの一つである近似確率伝搬法を解説し、これを用いた研究例を紹介 する。具体的には、グラフィカルモデルの一般的表現から始め、近似確率伝搬法の概要や導出方法を説明 し、スパース推定への適用法を解説する。また、近似確率伝搬法を用いた漸近的な推定性能評価法や、交 差検証誤差の評価法についても説明する。

In this talk, I’ll review the generalized lasso framework, some key special cases revolving around trend filtering, and applications.

スパース推定は、その汎用性の高さからさまざまな統計・機械学習モデルの推定に用いられており、得ら れる効果も多岐にわたる。その一例として、観測個体それぞれが経時的に観測値を得たデータに対して 分析を行う方法の一つである関数データ解析においても、スパース推定は利用される。本講義では特に、 関数データに対する回帰分析にスパース推定を適用することで、関数データとして与えられた説明変数 を選択したり、目的変数に寄与する関数データとしての説明変数の定義域を選択する方法について紹介 する。

多次元データの情報をなるべく損失することなく低次元データに変換する方法は次元削減法と呼ばれ、 統計学における基礎的な手法の一つである。次元削減法では多次元データの線形結合に基づき射影軸を 構成するが、多次元データの中には射影軸の構成に寄与しない変数が含まれている可能性がある。そこ で、射影軸の構成に必要な変数を選択するスパース推定が考えられている。本講義では、主成分分析を中 心として、次元削減法に対するスパース推定の理論と方法論を解説する。