![曖昧さ回避](//upload.wikimedia.org/wikipedia/commons/thumb/5/5f/Disambig_gray.svg/25px-Disambig_gray.svg.png) | この項目では、一般化線形モデル (generalized linear model)について説明しています。一般線形モデル (general linear model)については「一般線形モデル」をご覧ください。 |
統計学 |
回帰分析 |
---|
![](//upload.wikimedia.org/wikipedia/commons/thumb/3/3a/Linear_regression.svg/220px-Linear_regression.svg.png) |
モデル |
---|
|
- 一般化線形モデル
- 離散選択(英語版)
- ロジスティック回帰
- 多項ロジット(英語版)
- 混合ロジット(英語版)
- プロビット(英語版)
- 多項プロビット(英語版)
- 順序ロジット(英語版)
- 順序プロビット(英語版)
- ポアソン(英語版)
|
|
- 非線形回帰
- ノンパラメトリック(英語版)
- セミパラメトリック(英語版)
- ロバスト(英語版)
- 分位点(英語版)
- 等調(英語版)
- 主成分(英語版)
- 最小角度(英語版)
- 局所
- 折れ線(英語版)
|
|
推定 |
---|
|
|
- 部分
- 総最小二乗法(英語版)
- 非負(英語版)
- リッジ回帰
- 正則化(英語版)
|
- 最小絶対偏差(英語版)
- 繰返し加重(英語版)
- ベイズ(英語版)
- ベイズ多変量(英語版)
|
背景 |
---|
|
|
一般化線形モデル (いっぱんかせんけいモデル、英: Generalized linear model、GLM)は、残差を任意の分布とした線形モデル。似たものとして一般線形モデルがあるが、これは残差が多変量正規分布に従うモデル。一般化線形モデルには線形回帰、ポアソン回帰、ロジスティック回帰などが含まれる。1972年にネルダーとウェダーバーンによって提唱された[1]。
概要
確率変数
が指数型分布族である、つまり確率密度関数
は正準 (canonical) パラメーター
, 分散 (dispersion) パラメーター
とスカラー関数
,
を用いて指数型
で表すことができるものとする。
一般化線形モデルでは、指数型分布族の正準パラメーター
について、リンク関数 (link function) と呼ばれる滑らかな関数
と、別の確率変数
の実現値
とを用いて、
と表すことができるものとする。
一般化線型モデルは下記の3つの要素から構成される。
- 1. 指数型分布族の確率分布
- 2. 線形予測子 (linear predictor)
![{\displaystyle \eta =\mathbf {x} ^{T}{\boldsymbol {\beta }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7f8b86f3aa5b29060fa1455de9d2964b01f0f57c)
- 3. リンク関数 (link function)
such that ![{\displaystyle g(\theta )=\eta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/1264e48381f4f0c5b88fda8cd0b398474169bc8e)
指数分布族の性質
下記のように尤度関数を定める。
このとき、下記等式が成立する。
この等式を用いて計算すると、確率変数
の平均は
、分散は
であることが分かる。
下記の他、多くの確率分布が指数分布族に分類される。
- 正規分布
- ベルヌーイ分布
- ポアソン分布
- 二項分布
- ガウス分布
実例
正規分布に従うモデル
既知の値
を用いて
,
,
と表されるとき、
は平均
, 分散
の正規分布に相当する。
リンク関数として
(正準リンク<canonical link>とよぶ) を取るとき、これは、正規線型モデル (通常の線型回帰) に相当する。平均
は
で与えられる。
ベルヌーイ分布に従うモデル
を用いて
,
,
と表されるとき、
は生起確率
のベルヌーイ分布に相当する。
リンク関数として
を取るとき、これはロジスティック回帰モデル (logistic regression model) に相当する。
の確率は、それぞれ、
で与えられる。
リンク関数として
(ただし、
は標準正規分布の累積分布関数) を取るとき、これはプロビット回帰モデルに相当する。
となる。
パラメーターの決定には、ニュートン法を用いた最尤法などがある。
脚注
- ^ Nelder, John; Wedderburn, Robert (1972). “Generalized Linear Models”. Journal of the Royal Statistical Society. Series A (General) (Blackwell Publishing) 135 (3): 370–384. doi:10.2307/2344614. JSTOR 2344614.
参考文献
- McCullagh, Peter; Nelder, John (1989). Generalized Linear Models, Second Edition. Boca Raton: Chapman and Hall/CRC. ISBN 0-412-31760-5
- Henrik Madsen and Poul Thyregod (2011). Introduction to General and Generalized Linear Models. Chapman & Hall/CRC. ISBN 978-1-4200-9155-7
- Julia でデータサイエンス 一般化線形モデルにおける各種診断プロットの描画法の Julia コード
関連項目
![スタブアイコン](//upload.wikimedia.org/wikipedia/commons/thumb/d/df/Bellcurve.svg/30px-Bellcurve.svg.png) | この項目は、統計学に関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています(プロジェクト:数学/Portal:数学)。 |
典拠管理データベース: 国立図書館 ![ウィキデータを編集](//upload.wikimedia.org/wikipedia/commons/thumb/8/8a/OOjs_UI_icon_edit-ltr-progressive.svg/10px-OOjs_UI_icon_edit-ltr-progressive.svg.png) | |
---|