ランディングページの平均滞在時間100秒だと思い込んでやらかしたこと

これはWebサイトパフォーマンス Advent Calendar 2016の12/23のエントリーになります。書いているのは12/24が終わりそうなタイミングですが、なんとなく12/24の枠に入るのは遠慮しちゃっていて、時間をさかのぼっています。

qiita.com

一年くらい前のことですが、とあるサイトのスマホのランディングページ(LP)の改善の仕事をしていました。もともと使っているLPはもちろんあって、よくある縦長のページで、会員登録ボタンが付いているというものです。LPを見た人のうち会員登録をする人の割合を増やす、ということを目標にしていたわけです。

一番上の画像を差し替えてみよう、もっとテキストをわかりやすくしよう、会社の信頼性を高めるような情報を増やそう、ボタンの色を変えよう、などなどいろいろな改善案が出て、効き目がありそうだと思うものからABテストを使いながら改善をしていました。改善していました、と書いていますがこういう施策は当たらないのが当たり前で、何個も試してたまに効果があるという感じです。

そんなとき、LPを訪問した人はどれくらいの時間をかけてLPを見ているのだろうということが疑問に上がりました。さっきも書いたように縦長のページなので、スミからスミまでじっくり読んだら3分くらいはかかってしまいそうなページです。ただ、自分もそうですが、Webページなんてだいたいいつもナナメ読みなので、まあ、ざっと読めば1分くらいなのかなと思ったのです。Google Analyticsでチェックしてみると平均滞在時間が100秒くらいと出ていて、やっぱりそんなものかなと思ったのです。100秒ならまあまあ読まれていると考えて良さそうで、テキストの改善とかの効き目がありえるかなと。

でも、やっぱり気になったので、もっと正確に把握するために、あらためてログを見て滞在時間をチェックすることにしました。LPの滞在時間を、LPを表示してから会員登録ボタンを押すまでの時間と定義して、会員登録ボタンを押した人に限定して滞在時間を出してみたのです。

（過去のことなので正確な数値は手元に残っていないので、ここから下の数値は架空の数値になります）

1000人位の対象者に対して、平均滞在時間は96秒と出ました。ふむふむ。予想通りだな、と。念の為にヒストグラムも確認してみましょう。

f:id:Akiyah:20161225000605p:plain

あれ、100秒付近に固まっているはずなのに、なぜか時間軸が広い。。。ちょっと箱ひげ図も見てみましょう。

f:id:Akiyah:20161225000606p:plain

あれれ、、1個、はずれ値があるぞ。。。平均だけでなくデータのサマリーをあらためて見てみよう。

> summary(time)
    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
    3.19     8.68    10.04    96.46    11.45 86400.00

！！！

なんと、平均(Mean)は96秒なのに、中央値(Median)が10秒！！！そして最大値(Max)が86400秒=24時間！！！

ここでやっと気がついたのですが、1000人の対象者のうち、1人はLPにアクセスしてから別のことをして、1日後に戻ってきて続きの会員登録をしたようです。1000人の人が100秒かけてページを見ているというユーザー像はもろくも砕けて、ほとんどすべての人は10秒程度、チラッとしか見ていないということがわかってしまいました。ガーン。LP滞在時間が100秒と10秒じゃユーザー像は全然違ってきますよね。

というわけで、それまでの改善項目に入っていた見た目の細かい改善の優先順位はガクッと下がって、チラ見でも印象が変わるような改善項目を優先的にやることになったのでした。

いやー、平均って恐ろしいですね。特に今回のように、はずれ値が極端に大きくなりがちな場合に関しては。

まとめ：