単回帰分析では一つの目的変数 Y を一つの説明変数 X で予測した．しかし，複数の説明変数 X_1, X_2, \ldots, X_p を用いて目的変数 Y を予測することが多くある．例えば，アイスクリームの売上は気温だけでなく，湿度や曜日などの他の要因にも影響される．
複数の説明変数 X_1, X_2, \ldots, X_p を用いて目的変数 Y を予測する手法を重回帰分析（multiple regression analysis）と呼ぶ．単回帰分析と同様に，線形モデルを用いて説明変数と目的変数の関係を表す．説明変数が p 個ある場合，重回帰分析のモデルは
Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots + \beta_p X_p + \epsilon
と表される．
パラメータの推定
n 組の観測データ
\mathcal{D} = \{(x_{11}, x_{12}, \ldots, x_{1p}, y_1), (x_{21}, x_{22}, \ldots, x_{2p}, y_2), \ldots, (x_{n1}, x_{n2}, \ldots, x_{np}, y_n)\}
が与えられたとする．x_{ij} は i 番目の観測データにおける j 番目の説明変数の値，y_i は i 番目の観測データにおける目的変数の値である．
最小二乗法によりパラメータ \hat{\beta}_0, \hat{\beta}_1, \ldots, \hat{\beta}_p を推定する．\hat{\beta}_0, \hat{\beta}_1, \ldots, \hat{\beta}_p を用いて，予測値 \hat{y}_i は
\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_{i1} + \hat{\beta}_2 x_{i2} + \ldots + \hat{\beta}_p x_{ip}
と表される．
残差平方和（RSS）は以下のように定義される．
\begin{align*}
\text{RSS} &= \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \\
&= \sum_{i=1}^{n} (y_i - (\hat{\beta}_0 + \hat{\beta}_1 x_{i1} + \hat{\beta}_2 x_{i2} + \ldots + \hat{\beta}_p x_{ip}))^2
\end{align*}
最小二乗法により，RSS を最小化する \hat{\beta}_0, \hat{\beta}_1, \ldots, \hat{\beta}_p を求める．
Python による実装
Python では，scikit-learn ライブラリを用いて重回帰分析を簡単に実装できる．以下に，重回帰分析の例を示す．
糖尿病データセットを用いて，複数の説明変数を用いて糖尿病の進行度を予測する．ここでは，BMI，血圧，年齢を説明変数，糖尿病の進行度を目的変数とする．
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_diabetes
# 糖尿病データセットの読み込み
diabetes = load_diabetes(as_frame=True)
# BMI，血圧，年齢を説明変数，糖尿病の進行度を目的変数とする
X = diabetes.data[["bmi", "bp", "age"]]
y = diabetes.target
# 線形回帰モデルの作成と学習
model = LinearRegression()
model.fit(X, y)
# 回帰係数の表示
print(f"Intercept (β0): {model.intercept_}")
print(f"Coefficients (β1, β2, β3): {model.coef_}")
Intercept (β0): 152.13348416289614
Coefficients (β1, β2, β3): [788.78268919 394.12709223 25.99039429]
BMI，血圧，年齢をそれぞれ X_1, X_2, X_3 とすると，糖尿病の進行度の予測値 \hat{y} は
\hat{y} \approx 152.13 + 788.78 x_1 + 394.13 x_2 + 25.99 x_3
となる．