回帰とは？意味・仕組みと回帰を扱う論文3本（2026年11月時点）

ひとことで言うと

回帰（Regression）は、機械学習で数値を予測する課題と、そのための手法を指す。Google の機械学習の用語集は、回帰モデルを数値の予測を出すモデルとし、クラスを予測する分類モデルと対にしている。

身近な例は住宅の価格だ。Google の入門講座は、面積、郵便番号、寝室とバスルームの数などから将来の家の価格を予測するモデルを、回帰の例に挙げている。目的地に着くまでの時間を分と秒で予測するモデルも回帰に当たる。

仕組み

回帰は教師あり学習の代表的な使い方の1つで、正解の数値（ラベル）が付いた例から学ぶ。代表的な手法の線形回帰を、Google の講座「Machine Learning Crash Course」の例で見る。

入力と予測したい値を決める。講座は車の重さ（特徴量）から燃費（ラベル）を予測する例を使う。
予測の式を置く。線形回帰の予測はバイアスに「重み×特徴量」を足した値になる。重みは直線の傾き、バイアスは直線が縦軸と交わる点（切片）に当たる。どちらも学習の中で計算するパラメータ（モデルが持つ数値）だ。特徴量が5つなら、それぞれに別の重みを持つ。
重みとバイアスを決める。講座が図の直線から求めた例では、バイアスが34、重みが-4.6になり、4,000ポンドの車の燃費を1ガロンあたり15.6マイルと予測する。
予測とのずれを小さくする。Python の機械学習ライブラリ scikit-learn の LinearRegression は、データにある値と直線の予測との差を2乗して足した値（残差平方和）が最小になるように係数を決める。この方法を最小二乗法（Ordinary Least Squares）と呼ぶ。

差の2乗を使う考え方は損失関数の二乗誤差（L2 損失）と同じだ。Google の用語集によると、回帰モデルはふつう L2 損失を損失関数に使う。重みを少しずつ動かして損失を下げる方法は勾配降下法のページで説明している。

線形回帰のほかにも手法はある。scikit-learn の線形モデルの章には、係数の大きさに罰を足すリッジ回帰（Ridge）や、係数の一部をちょうど0にできる Lasso が並ぶ。

表で見る最新の状況

上の「回帰とロジスティック回帰が出てくる論文3本」は、TRAIL の研究記事から、回帰の課題を扱ったか、ロジスティック回帰を使った論文を選び、古い順に並べたものだ。確認日は2026年11月6日で、要旨は arXiv の論文のページで確かめた。

2016年6月の SQuAD は、Wikipedia の記事についてクラウドワーカーが作った10万件を超える質問からなる読解のデータセットだ。著者らが作ったロジスティック回帰のモデルは F1（答えの単語の重なりで測る指標）が51.0%で、簡単な基準の方法の20%を上回った。人の成績は86.8%だった。

2017年3月の MAML は、新しい課題に少ない例と数回の勾配の更新で合わせられるように、モデルを学ばせる方法だ。論文の要旨は、分類、回帰、強化学習に使えるとし、少数の例での回帰でもよい結果を出したと書いている。TRAIL の解説によると、回帰の実験には波形の回帰課題を使った。

2025年11月の TabPFN-2.5 は、表のデータの分類と回帰に使う基盤モデルだ。要旨によると、データ点10万件、特徴量2,000までの大きめのデータで、初期設定の XGBoost（木のモデルの1つ）と初期設定どうしで比べた勝率は87%、回帰では85%だった。TRAIL の解説によると、論文は、回帰は初期設定の優位だけでは語れず、60通りの調整のあとに AutoGluon を上回ったと報告している。

TabPFN-2.5 の要旨は勝率を分類と回帰で分けて示し、TRAIL の解説も、回帰では調整したあとの比較が大事になると書いている。表のデータのモデルの比較を読むときは、分類の数字か回帰の数字かを分けて見る。

回帰と分類の違い

	回帰	分類
予測するもの	数値	クラス
Google の用語集の例	住宅の価値（423,000ユーロなど）、樹木の寿命（23.2年など）、今後6時間の雨の量（0.18インチなど）	文の言語、樹木の種類、病状が陽性か陰性か
代表的な手法	線形回帰、リッジ回帰、Lasso	ロジスティック回帰
学習でよく使う損失	L2 損失（二乗誤差）	対数損失
評価の指標の例	MSE、MAE、決定係数	正解率、適合率、再現率

名前に「回帰」とあっても、ロジスティック回帰はふつう分類に使う。scikit-learn のドキュメントは、名前に反して、scikit-learn と機械学習の用語の上では、回帰ではなく分類のための線形モデルとして実装していると書く。モデルが出すのは確率で、しきい値（初期設定は0.5）を当てるとクラスの予測になる。Google の用語集はロジスティック回帰を、確率を予測する回帰モデルの一種と説明している。そのうえで、出した数値はふつう二値分類のモデルの一部になるとしている。用語集の例では、メールが迷惑メールである確率を0.72と予測すると、迷惑メールである可能性を72%と見積もる。

逆に、数値を出すモデルがすべて回帰とは限らない。Google の用語集は、郵便番号を予測するモデルは数値を出していても、回帰モデルではなく分類モデルだとしている。

仕事でどう関係するか

予測の誤差の報告を読むとき

scikit-learn のドキュメントによると、MAE（平均絶対誤差）は予測と正解の差の絶対値の平均、MSE（平均二乗誤差）は差の2乗の平均だ。ドキュメントの例では、正解が3、-0.5、2、7で予測が2.5、0.0、2、8のとき、MAE は0.5、MSE は0.375になる。MSE の平方根の RMSE は予測したい値と同じ単位で誤差を測れる指標として紹介されている。外れ値への反応の違いは損失関数のページで比べている。

プロンプト

来月の店舗ごとの売上を予測するモデルの評価の結果について、次の3点を教えてください。
1つ目は、評価に使ったデータの期間と件数です。
2つ目は、MAE と RMSE を円で示した値です。
3つ目は、決定係数と、その計算に使ったデータです。

決定係数で当てはまりを見るとき

scikit-learn のドキュメントによると、決定係数（R²）は予測したい値のばらつきのうち、モデルで説明できた割合を表す。最もよい値は1.0で、特徴量を見ずにいつも平均を予測するモデルは0.0になる。モデルがそれより悪ければマイナスにもなる。ばらつきはデータセットで変わるので、違うデータで測った決定係数どうしを比べても意味をなさないことがある。

係数から何が効いているかを読むとき

線形回帰の重み（係数）は、特徴量と予測の関係を数字で示す。scikit-learn の例は、調査のデータから賃金を予測するモデルで、係数を読むときの落とし穴を挙げている。係数はほかの特徴量を一定にしたときの関係を表す。重要さを比べるには単位をそろえる必要があり、互いに関係の強い特徴量があると係数は不安定になる。観測していない要因が絡むときは、因果を結論づけるのに注意が要る。

注意点と限界

決定係数は、資料によって値の範囲の説明が違う。Google の用語集は、決定係数を予測と正解のピアソン相関係数の2乗とし、0〜1の値をとると説明する。一方、scikit-learn の r2_score は、いつも平均を予測するモデルを0.0とし、それより悪い予測ではマイナスになる。同じ「決定係数」でも計算のしかたが違うので、報告で値を見たら、どの方法で計算したかを確かめる。

scikit-learn のドキュメントによると、最小二乗法の係数は特徴量どうしが独立していることを前提にする。特徴量どうしにほぼ直線の関係があると、係数は正解の値に含まれるランダムな誤差に大きく左右される。たとえば実験の計画なしに集めたデータで起こりうる。

モデルの解釈がそのまま現実に当てはまるとは限らない。scikit-learn の例は、モデルはサンプルのデータから、観測していない関数に近づけるように学ぶとしている。そのうえで、モデルの質が低いときや、データが母集団を代表していないときは特に、解釈が本当のデータの生まれ方に一般化しないことがあると書く。学習用のデータに合わせすぎる問題は過学習のページで説明している。

よくある質問

回帰とは簡単に言うと何か

数値を予測する機械学習の課題だ。家の価格、目的地に着くまでの時間、雨の量を予測するモデルが回帰に当たる。代表的な手法は線形回帰だ。

統計学の回帰分析と機械学習の回帰は同じものか

線形回帰は両方で使われる。Google の講座は、線形回帰を変数の間の関係を見つける統計の手法と説明し、機械学習では特徴量とラベルの関係を見つけるとしている。scikit-learn は、ロジスティック回帰に初期設定で正則化をかけることを、機械学習ではよくあるが統計学ではそうではないと書いている。

ロジスティック回帰は回帰なのか分類なのか

ふつうは分類に使う。scikit-learn は分類のための線形モデルとして実装している。Google の用語集は確率を予測する回帰モデルの一種としつつ、その確率はふつう二値分類に使うと説明している。

MSE と MAE はどちらを見ればよいか

誤差を予測したい値と同じ単位で読みたいなら、RMSE か MAE を見る。scikit-learn は RMSE を予測したい値と同じ単位の指標として紹介している。MAE も差の絶対値の平均なので、もとの単位のまま読める。外れ値への反応の違いは損失関数のページで比べている。

決定係数がマイナスになることはあるか

scikit-learn の r2_score ではありうる。いつも平均を予測するモデルが0.0なので、それより悪い予測をするとマイナスになる。