数字がよくなったら、
入口を疑う。

ダッシュボードの継続率が先月よりよくなった。チームは改善を喜び、今の施策を広げようとする。ところが新規利用者は減り、広告から来る人が少なくなり、紹介や発信を以前から見ていた人の割合だけが増えていた——そんな場面では、プロダクトが良くなったのか、入口が細くなったのかを数字一つでは分けられない。

Nevo Davidさんは、自身の事業で解約率が下がったように見える一方、顧客獲得も弱くなっていると述べ、残った流入が口コミ中心になったことによる選択バイアスの可能性を指摘した。これは本人の観察で、因果は独立検証されていない。ただ、よい数字ほど母集団を見直すという注意は、運用の型にできる。

発信の入口は、比較の基準にもなる

りくさんは、経営者個人のX発信を、検索や広告など属人性の低い集客へ投資するための起点として使う考えを投稿している。個人発信から来た人は、商品に触れる前から背景や考え方を知っているかもしれない。冷たい広告から来た人と同じ条件で継続率を比べれば、商品体験の差と事前理解の差が混ざる。

だから個人発信は、無料の集客口であるだけでなく、「文脈を持って来た人」の基準線にもなる。広告を止めた途端に継続率が上がっても、それだけで改善とは呼ばない。入口別の人数、最初の価値に到達した割合、一定期間後に残った人数を並べて、分子と分母を一緒に動かす。

小さく試すなら、入口を一列足す

二週間だけ、利用者の入口を「個人発信・紹介・検索・広告」の四つに分ける。各入口について、新規人数、最初の価値に到達した人数、30日後に残った人数を記録する。継続率が上がった日は、改善施策を書く前に「来なくなった人は誰か」を一行添える。

これは精密な因果推論ではない。それでも、割合だけが独り歩きするのを止められる。よい数字を疑うのは悲観ではなく、次にどの入口を広げても体験が保てるかを考える準備になる。

その「改善」は、残った人の体験が変わったのか。
それとも、入ってきた人が変わったのだろうか。