部分的最小二乗回帰

統計学
回帰分析
モデル
線形回帰 線形単回帰（英語版） 多項式回帰 一般線形モデル
一般化線形モデル 離散選択（英語版） ロジスティック回帰 多項ロジット（英語版） 混合ロジット（英語版） プロビット（英語版） 多項プロビット（英語版） 順序ロジット（英語版） 順序プロビット（英語版） ポアソン（英語版）
多水準モデル（英語版） 固定効果（英語版） 変量効果 混合モデル
非線形回帰 ノンパラメトリック（英語版） セミパラメトリック（英語版） ロバスト（英語版） 分位点（英語版） 等調（英語版） 主成分（英語版） 最小角度（英語版） 局所 折れ線（英語版）
変数誤差（英語版）
推定
最小二乗法 線形（英語版） 非線形
普通（英語版） 加重（英語版） 一般化（英語版）
部分 総最小二乗法（英語版） 非負（英語版） リッジ回帰 正則化（英語版）
最小絶対偏差（英語版） 繰返し加重（英語版） ベイズ（英語版） ベイズ多変量（英語版）
背景
回帰検証（英語版） 平均応答と予測応答（英語版） 誤差と残差 適合度（英語版） スチューデント化残差 ガウス＝マルコフの定理
表 話 編 歴

部分的最小二乗回帰（ぶぶんてきさいしょうじじょうかいき、英: partial least squares regression、略称: PLS回帰）は、主成分回帰（英語版）といくらかの関係を持つ統計的手法の一つである。偏最小二乗回帰または部分最小二乗回帰とも呼ばれる。PLS回帰は、応答変数と説明変数との間の最大分散の超平面を探す代わりに、予測変数（英語版）と観測可能な変数（英語版）を新たな空間に射影することによって線形回帰モデルを探る。XおよびYのデータが共に新たな空間に射影されるため、PLSに分類される手法群は双線形因子モデルとも呼ばれる。部分的最小二乗判別分析（PLS-DA）は、Yが分類である時の派生法である。

PLSは2つの行列（XおよびY）間の基本的関係を探すために用いられる。すなわち、これら2つの空間における共分散構造をモデル化するための潜在変数アプローチである。PLSモデルはY空間における最大多次元分散方向を説明するX空間における多次元方向を探そうと試みる。PLS回帰は予測因子の行列が観測因子よりも変数の数が多い時、そしてXの値の間に多重共線性が存在する時に特に適している。対照的に、標準的な回帰手法はこれらの場合（正則化されていない限り（英語版））失敗する。

部分的最小二乗法は、スウェーデンの統計学者ヘルマン・ウォルド（英語版）によって発表された。ウォルドはその後息子のスヴァンテ・ウォルド（スウェーデン語版）と共にこの手法を発展させた。PLSの（スヴァンテ・ウォルドによればより正確な^[1]）別称は、「projection to latent structures」（潜在構造への射影）であるが、多くの分野において「部分的最小二乗法」という用語が未だに優勢である。PLS回帰の最初の応用は社会科学分野でのものだったが、今日、PLS回帰は計量化学（ケモメトリクス）と関連領域において最も広く使われている。また、バイオインフォマティクス、感覚計量学、神経科学、人類学でも使われている。

多変量PLSの一般的基礎的モデルは以下の式で表わされる。

${\displaystyle X=TP^{\top }+E}$

${\displaystyle Y=UQ^{\top }+F}$

上式において、${\displaystyle X}$は予測変数の${\displaystyle n\times m}$、${\displaystyle Y}$は応答変数の${\displaystyle n\times p}$行列; ${\displaystyle T}$ならびに${\displaystyle U}$はそれぞれ${\displaystyle X}$の射影（Xスコアまたは成分または因子行列）ならびに${\displaystyle Y}$の射影（Yスコア）; ${\displaystyle P}$ならびに${\displaystyle Q}$はそれぞれ${\displaystyle m\times l}$ならびに${\displaystyle p\times l}$直交「負荷量（ローディング）」行列; 行列${\displaystyle E}$および${\displaystyle F}$は誤差項であり、互いに独立で同一の分布に従う確率正規変数であると仮定される。${\displaystyle X}$および${\displaystyle Y}$の分解は、${\displaystyle T}$と${\displaystyle U}$との間の共分散を最大化するように行われる。

因子ならびに負荷量行列である${\displaystyle T,U,P}$ならびに${\displaystyle Q}$を推定するための多くのPLSの変法が存在する。それらの多くは、${\displaystyle Y=X{\tilde {B}}+{\tilde {B}}_{0}}$として${\displaystyle X}$と${\displaystyle Y}$との間の線形回帰の推定量を構築する。一部のPLSアルゴリズムは、${\displaystyle Y}$が列ベクトルである場合に対してのみ適切であるが、その他は行列${\displaystyle Y}$の一般的な場合を扱う。アルゴリズムはまた、因子行列${\displaystyle T}$を直交行列もしくは正規直交行列として推定するか、あるいは条件を付けないかという点で異なる^{[2][3][4][5][6][7]}。最終的な予測値はこれら全ての変法で同じであるが、成分が異なっている。

PLS1は、Yがベクトルの場合について適切で広く用いられているアルゴリズムである。PLS1はTを正規直交行列として推定する。以下に疑似コードを示す（大文字は行列、小文字は上に添字がある場合ベクトル、下に添字がある場合スカラーである）。

1. function PLS1(${\displaystyle X,y,l}$)
2. ${\displaystyle X^{(0)}\gets X}$
3. ${\displaystyle w^{(0)}\gets X^{T}y/||X^{T}y||}$, wの初期推定
4. ${\displaystyle t^{(0)}\gets Xw^{(0)}}$
5. for ${\displaystyle k=0}$ to l
6. ${\displaystyle t_{k}\gets {t^{(k)}}^{T}t^{(k)}}$（これはスカラー）
7. ${\displaystyle t^{(k)}\gets t^{(k)}/t_{k}}$
8. ${\displaystyle p^{(k)}\gets {X^{(k)}}^{T}t^{(k)}}$
9. ${\displaystyle q_{k}\gets {y}^{T}t^{(k)}}$（これはスカラー）
10. if ${\displaystyle q_{k}=0}$
11. ${\displaystyle l\gets k}$, ループから脱出
12. if ${\displaystyle k<l}$
13. ${\displaystyle X^{(k+1)}\gets X^{(k)}-t_{k}t^{(k)}{p^{(k)}}^{T}}$
14. ${\displaystyle w^{(k+1)}\gets {X^{(k+1)}}^{T}y}$
15. ${\displaystyle t^{(k+1)}\gets X^{(k+1)}w^{(k+1)}}$
16. end for
17. define W to be the matrix with columns ${\displaystyle w^{(0)},w^{(1)},...,w^{(l-1)}}$.
    • Do the same to form the P matrix and q vector.
18. ${\displaystyle B\gets W{(P^{T}W)}^{-1}q}$
19. ${\displaystyle B_{0}\gets q_{0}-{P^{(0)}}^{T}B}$
20. return ${\displaystyle B,B_{0}}$

このアルゴリズム形式は、入力する XおよびYのセンタリングを必要としない。これはセンタリングがアルゴリズムによって暗黙的に実行されるためである。このアルゴリズムは行列Xの減次（${\displaystyle t_{k}t^{(k)}{p^{(k)}}^{T}}$の減算）を行うが、ベクトルyの減次は必要でないため行われない。ユーザ指定の変数lは回帰における潜在因子の数の上限である。この数が行列Xの階数に等しければ、アルゴリズムはBおよび${\displaystyle B_{0}}$に対する最小二乗回帰推定法に等しい。

2002年、潜在構造に対する直交射影（orthogonal projections to latent structures、OPLS）と呼ばれる新手法が発表された。OPLSでは、連続的変数データが予測情報と無相関の情報に分離される。これによって診断が改善され、解釈のための視覚化がより容易となる。しかしながら、これらの変更はPLSモデルの解釈可能性を改善するだけであり、予測性は改善しない^[8]。L-PLS法は、PLS回帰を3つの連結したデータブロックに拡張する^[9] 。同様に、OPLS-DA（Discriminant Analysis; 判別分析）法は、分類やバイオマーカーの研究のように離散変数を扱う時に適用できる。

2015年、部分的最小二乗法はthree-pass regression filter (3PRF) と呼ばれる手順と関連付けられた^[10]。もし観察と変数の数が大きいならば、3PRF（とゆえにPLS）は線形潜在因子モデルによって暗示される「最良の」予測について漸近的に正規である。株式市場モデルでは、PLSは運用益とキャッシュフローの成長の正確なサンプル外予測を与えることが示されている^[11]。

ほとんどの主要な統計ソフトウェアパッケージがPLS回帰を用意している^[要出典]。

• Kramer, R. (1998). Chemometric Techniques for Quantitative Analysis. Marcel-Dekker. ISBN 0-8247-0198-4 
• Frank, Ildiko E.; Friedman, Jerome H. (1993). “A Statistical View of Some Chemometrics Regression Tools”. Technometrics 35 (2): 109–148. doi:10.1080/00401706.1993.10485033. http://amstat.tandfonline.com/doi/full/10.1080/00401706.1993.10485033. 
• Haenlein, Michael; Kaplan, Andreas M. (2004). “A Beginner's Guide to Partial Least Squares Analysis”. Understanding Statistics 3 (4): 283–297. doi:10.1207/s15328031us0304_4. 
• Henseler, Joerg; Fassott, Georg (2005). Testing Moderating Effects in PLS Path Models. An Illustration of Available Procedures. 
• Lingjærde, Ole-Christian; Christophersen, Nils (2000). “Shrinkage Structure of Partial Least Squares”. Scandinavian Journal of Statistics 27 (3): 459–473. doi:10.1111/1467-9469.00201. 
• Tenenhaus, Michel (1998). La Régression PLS: Théorie et Pratique. Paris: Technip. 
• Rosipal, Roman; Kramer, Nicole (2006). Overview and Recent Advances in Partial Least Squares, in Subspace, Latent Structure and Feature Selection Techniques. pp. 34–51. 
• Helland, Inge S. (1990). “PLS regression and statistical models”. Scandinavian Journal of Statistics 17 (2): 97–114. JSTOR 4616159. 
• Wold, Herman (1966). “Estimation of principal components and related models by iterative least squares”. In Krishnaiaah, P.R.. Multivariate Analysis. New York: Academic Press. pp. 391–420 
• Wold, Herman (1981). The fix-point approach to interdependent systems. Amsterdam: North Holland 
• Wold, Herman (1985). “Partial least squares”. In Kotz, Samuel; Johnson, Norman L.. Encyclopedia of statistical sciences. 6. New York: Wiley. pp. 581–591 
• Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, W.J. (1984). “The collinearity problem in linear regression. the partial least squares (PLS) approach to generalized inverses”. SIAM Journal on Scientific and Statistical Computing 5 (3): 735–743. doi:10.1137/0905052. 
• Garthwaite, Paul H. (1994). “An Interpretation of Partial Least Squares”. Journal of the American Statistical Association 89 (425): 122–7. doi:10.1080/01621459.1994.10476452. JSTOR 2291207. 
• Wang, H., ed (2010). Handbook of Partial Least Squares. ISBN 978-3-540-32825-4 
• Stone, M.; Brooks, R.J. (1990). “Continuum Regression: Cross-Validated Sequentially Constructed Prediction embracing Ordinary Least Squares, Partial Least Squares and Principal Components Regression”. Journal of the Royal Statistical Society, Series B 52 (2): 237–269. JSTOR 2345437. 
• Wan Mohamad Asyraf Bin Wan Afthanorhan. (2013). A Comparison Of Partial Least Square Structural Equation Modeling (PLS-SEM) and Covariance Based Structural EquationModeling (CB-SEM) for Confirmatory Factor Analysis International Journal of Engineering Science and Innovative Technology (IJESIT), 2(5), 9.

• 特徴抽出（英語版）
• データマイニング
• 機械学習
• 回帰分析
• カノニカル相関
• デミング回帰
• 多重線形部分空間学習（英語版）
• 主成分分析
• 全平方和（英語版）

• imDEV free Excel add-in for PLS and PLS-DA
• PLS in Brain Imaging
• on-line PLS regression (PLSR) at Virtual Computational Chemistry Laboratory
• Uncertainty estimation for PLS
• A short introduction to PLS regression and its history