主成分分析と回帰分析(ロジスティック回帰・重回帰)の違いは?組み合わせは可能?

こんにちは!大学院で統計の勉強をしているそらです!

  • 主成分分析と回帰分析の違いがわからない
  • 組み合わせていいのか分からない

という方に、主成分分析と回帰分析(ロジスティック回帰・重回帰)の違いや組み合わせは可能かについて簡単にわかりやすく解説していきます。

 

結論から言うと、

主成分分析と回帰分析の違い

主成分分析と回帰分析は両方とも多変量解析の仲間ですが、

・回帰分析は、データから「予測」する
・主成分分析は、データの「要約」をする

主成分分析と回帰分析の組み合わせは「可能」
・主成分分析をしてから回帰分析

詳しく解説していきたいと思います!

主成分分析と回帰分析(ロジスティック回帰・重回帰)の違い

主成分分析と回帰分析(ロジスティック回帰・重回帰)の違いについてです。

回帰分析と主成分分析の違い

犬くん
犬くん
回帰分析も主成分分析も多変量解析の手法だけど何が違うの?

回帰分析は主に予測で使われます。

・重回帰分析は複数の要因から結果が起こる確率を説明・予測する手法

・ロジスティック回帰分析は、複数の要因から「2値(ある・なし、生死など)」の結果が起こる確率を説明・予測する手法

 

一方で、主成分分析は主にデータの要約で使われます。

・主成分分析は変数から主成分としてデータを要約し、新たな変数を作り出す手法。

回帰分析とは

回帰分析とは、要因から結果を予測する手法です。

結果を他のデータでどれくらい説明できるかを知ることができます。

 

グラフの矢印の2乗和が最小となるように値を取ります。

 

回帰分析の中で、データが連続変数(体重、身長など連続している数値)の場合は重回帰か単回帰

二値変数(○×など2つの選択肢しかない)の場合はロジスティック回帰を選択します。

回帰分析は、結果となる数値と要因となる数値の関係を調べて、それぞれの関係を明らかにする統計的手法です。

 

このとき、要因となる数値を「説明変数もしくは独立変数」、結果となる数値を「目的変数または従属変数」といい、

「説明変数」が1つの場合を「単回帰分析」、複数の場合を「重回帰分析」といいます。

 

主成分分析とは

一方、主成分分析は3つのデータを1つにまとめるといった感じで情報をまとめて「要約」する手法です。

グラフのように、矢印が直角に交わるところに線を引きデータを要約します。

 

回帰分析のようにAだからBになるといった主従関係はありません。

犬くん
犬くん
両方とも多変量解析の仲間だけど、統計手法としては全く別もの!

 

主成分分析と回帰分析の組み合わせは「可能」

流れとして、主成分分析をして主成分を出す主成分と他の項目の関連を見たい場合に回帰分析を行います。

テストの点と年数の関係を例に挙げると、

主成分分析しないで回帰分析だけする場合

y(結果)=x1+x2+x3

x1:年齢
x2:性別
x3:数学のテストの点

y(結果):年収

主成分分析する場合

テストの点を主成分分析をすることで理系・文系に分けられれば、

y(結果)=x1+x2+x3

x1:年齢
x2:性別
x3:理系

y(結果):年収

理系・文系といった大きい枠との関連を調べることができるようになります。

 

犬くん
犬くん
どちらでやるかは、自分の書きたい論文や出したいデータ次第!

まとめ:主成分分析と回帰分析(ロジスティック回帰・重回帰)の違い、組み合わせ

犬くん
犬くん
まとめ!

主成分分析と回帰分析の違い

主成分分析と回帰分析は両方とも多変量解析の仲間ですが、

・回帰分析は、データから「予測」する
・主成分分析は、データの「要約」をする

 

主成分分析と回帰分析の組み合わせは「可能」

・主成分分析をしてから回帰分析

 

主成分分析をすることで、結果の解釈のしやすさも変わってきます。

組み合わせての解析もできるようになると、分析の幅も広がると思います!

そらいろブログ

こんにちは!大学院で統計の勉強をしているそらです! 主成分分析の基本がわからない 本を読んでも数式ばっかりで理解できない…

スポンサーリンク