あわてんぼうの過誤にはまっている、しらべぇの「ケンミン8万人調査！」

しらべぇというサイトがあって、そのシリーズ記事に「ケンミン8万人調査！」というのがあります。各都道府県の傾向を全国8万人の調査から示していく記事ですね。例えば沖縄県であればこれ。

時系列で見ると2016年9月に北海道から始まって、2016年11月の沖縄まででシリーズが完結しているようです。

たまたま気がついたのですが、この記事内に「カイ二乗検定」というタグがついていて、本文の中でも下記のように書いてあります。

しらべぇ編集部が全国の男女88,321名に調査した中から、沖縄県に住む462名を抽出。カイ二乗検定をかけて有意差を判別し、4つのポイントを発見した。

わざわざ「カイ二乗検定」と書いているので、念の為にRで検算してみましょう。

> i <- 462;
> n <- 88321;
> p <- 71.3/100;
> q <- 64.3/100;
> chisq.test(matrix(c(i*p, i*(1-p), (n-i)*q, (n-i)*(1-q)), ncol=2, byrow=T))

	Pearson's Chi-squared test with Yates' continuity correction

data:  matrix(c(i * p, i * (1 - p), (n - i) * q, (n - i) * (1 - q)),     ncol = 2, byrow = T)
X-squared = 9.512, df = 1, p-value = 0.002041

しらべぇの採用している優位水準αが0.05だとして、p値(0.002041)が0.05よりも小さいので確かにこの調査単独では有意差がありそうです。

でもこれ、たぶん、あわてんぼうの過誤の罠にはまっちゃっています。

あわてんぼうの過誤とは、「第一種の過誤」のことで、実際には差なんて無いのに統計検定をして差があると判断しちゃうことです。優位水準α=0.05にしておけば、あわてんぼうの過誤は5%の確率で起こります。20回に1回は差がないのに有意差があると判断しちゃうということですね。単独の調査では20回に1回のミスで済むのですが、たくさんの調査を同時に扱うときはもうちょっと注意が必要になります。

この「ケンミン8万人調査！」では、Qzooというインターネットリサーチサイトで2015年3月～4月に行った調査結果を使っているようです。「ケンミン8万人調査！」シリーズで上がっていた調査項目をざっと調べるとこんなものがあるようです。

アウトレットモールが好きな人の割合
お風呂に入らない日がある人の割合
キスをするのが好きな人の割合
ギャンブルが好きな人の割合
ご飯よりパンが好きな人の割合
サッカーが好きな人の割合
スターバックスコーヒーが好きな人の割合
スポーツが好きな人の割合
セックスが好きな人の割合
バレなければウソもOKと思う人の割合
プライベートより仕事を優先する人の割合
ベッドより布団で寝たい人の割合
ラーメンは太麺より細麺が好きな人の割合
リーダーになることが多い人の割合
一夜限りの肉体関係を持った経験者の割合
休みが多い仕事より高給のほうがいい人の割合
魚より肉が好きな人の割合
蕎麦よりうどんが好きな人の割合
結婚相手選びには年収を重視する人の割合
元カレ・元カノと連絡を取る人の割合
好きなものはまず最初に食べる人の割合
好きな異性には自ら告白する人の割合
好きな人に尽くされるより尽くしたい人の割合
好きになる異性は性格より外見重視な人の割合
今の生活が楽しいと感じる人の割合
今の生活よりも将来に備える人の割合
左利きの人の割合
自分は「神経質だ」と思う人の割合
自分は「性欲が強い」と思う人の割合
自分は草食系だと思う人の割合
自分は寂しがり屋だと思う人の割合
自分は肉食系だと思う人の割合
自分は平均よりも頭がいいと思う人の割合
自分は友達が多いと思う人の割合
焼き鳥はタレより塩で食べたい人の割合
焼き鳥は塩よりタレで食べたい人の割合
醤油よりソース味が好きな人の割合
上司が言うことは絶対だと思う人の割合
年下よりも年上の異性に好かれる人の割合
年上より年下の異性を好きになる人の割合
濃い味つけより薄味が好きな人の割合
薄味よりも濃い味つけを好む人の割合
不倫は許せると思う人の割合
不倫をしたことがある人の割合
浮気をされたことがある人の割合
浮気をしたことがある人の割合
野球が好きな人の割合
友達と深く付き合う人の割合
流行に敏感だと思う人の割合
和食より洋食が好きな人の割合

50個あげましたが、もっとたくさんあるのでしょう。こういう項目をQzooで8万人を対象にYes/Noで聞いて、住んでいる都道府県と合わせて集計しているのでしょう。

ここで一つ思考実験をします。質問項目として「マイナンバーが奇数である」という質問があったとして、それは全国のどの都道府県でも理論的には50%の割合でYesだったとします。この条件で8万人の調査をすると、どの県でもだいたい50%に近い値が出るのですが、ぴったりになるわけではないので49%になる県もあれば51%になる県もあるでしょう。たまたま大きくずれて45%や55%になる県もありそうです。たまたま大きくずれると、カイ二乗検定で有意差があると判断されます。そういう県は優位水準0.05であれば5%なので、47*0.05でだいたい2都道府県でしょうか。

つまり、都道府県ごとにまったく差が無いような質問項目でも、原理的に2都道府県くらいは有意差ありと判断されてしまうのです。いっぺんにたくさんの対象を扱う時の、あわてんぼうの過誤の罠ですね。

たぶん、しらべぇでは、まず上のようなアンケートをしておいてから、都道府県をひとつ選んで、その都道府県が「たまたま有意差有り」になった項目も含めて特徴的な差があった項目に注目して記事にしているのでしょう。都道府県をひとつ選んだあとでも、50項目も質問をすれば「たまたま有意差有り」になる項目は2つくらいはありそうです。記事を書くには便利ですね！

どの結果も信用できない、とまでは言えないと思っています。たとえば香川県（うどん県）の蕎麦派はわずか2割というのは、十分説得力があるし、本当なのでしょう。でもそうでない項目もたくさん紛れ込んでいるだろうという指摘になります。

しらべぇや「ケンミン8万人調査！」を糾弾したり否定したりしたいわけではなくて、これからもこういう調査はして欲しいと思っています。個人的にも県民性には若干興味あるので。そのときにこの記事で上げたような「あわてんぼうの過誤」に注意してもらえたら、とても嬉しいです。私が手伝えることがあったらなにかお手伝いしたいくらいですよ、編集部の方！