четверг, 21 сентября 2017 г.

Да научитесь же вы проводить эксперименты

РЕ:
Так как я занимаюсь прежде всего эмпирическими исследованиями, у меня есть некоторые пунктики по поводу работы с данными и меня реально раздражает, когда люди безалаберно анализируют данные, а потом с пафосом рассказывают о получившихся «выводах». И я испытываю садистическое удовольствие, когда их тыкают носом в их ошибки.

К примеру, проверить эффективность рекламной компании в интернете, на самом деле, очень просто. Достаточно провести рандомизированный эксперимент – часть (случайно отобранных) пользователей показать рекламу, а части нет. А потом сравнить, сколько из них пришли к вам на сайт и купили что-нибудь. Казалось бы, что может быть проще? Но люди упорно отказываются это делать и если вообще и пытаются количественно оценить эффективность рекламной компании (что уже большой шаг вперед), то делают это статистическими методами различной навороченности.

Людям в исследовательском отделе Фейсбука, похоже, тоже надоело иметь дело с такими горе-маркетологами и они, совместно с профессорами Келлога, провели масштабное исследование, сравнив экспериментальные результаты со статистическими оценками эффективности для целого набора рекламных компаний. Результаты весьма показательные – даже самые навороченные статистические методы постоянно промахиваются и могут как завысить эффективность рекламы раз, эдак, в восемь, так и недооценить ее в несколько раз. При этом понять, когда результаты завышаются, а когда занижаются, тоже не получилось.  В общем, грош цена этим статистическим исследованиям рекламных компаний.


Господа бизнесмены, да научитесь же вы, наконец, проводить рандомизированные эксперименты. Ей Богу, много чего нового и полезного узнаете.

КС:
Статья отличная, но меня пугает часть тезиса, который ты выдвигаешь. Твои слова не будут восприняты как "все эти статистические методы - ерунда"? Публика, академическая в том числе, навострилась говорить "есть ложь, большая ложь и статистика" - понятно, такая фраза избавляет от необходимости понимать, что такое анализ данных. По-прежнему большинство маркетинговых решений принимается на основе куда более примитивного анализа эффективности, чем те методы, которые критикуются в этой статье. Я бы сказал, что это довольно продвинутые, по меркам практики, методы. (Чем, кстати, хороша эта статья - это тем, что в ней кратко, но детально описаны все критикуемые методы.)

Если же не считать этой оговорки, то твой основной тезис - "нужно на практике проводить рандомизированные эксперименты" мне кажется абсолютно правильным и очень важным. Более того, их часто проводить проще, чем другие исследования! И с помощью Фейсбука, и с помощью других механизмов онлайн-рекламы и даже просто, когда отправляешь девушек и юношей раздавать образцы твоей колбасы или конфет в магазины. Конечно, рандомизировать надо правильно - например, в магазине в разное время могут быть разные, по своим потребительским качествам, посетители. Тогда, если рандомизируешь по времени, когда девушки будут предлагать попробовать колбасу, результаты могут оказаться смещенными. Но это, мне кажется, довольно просто. Проще многих других методов.

РЕ:
Ты меня заставляешь оправдываться за утверждение, которого я никогда не делал. Конечно, есть масса отличных исследований без всяких экспериментов, а у экспериментов есть существенные ограничения (пожалуй, самая известная критика экспериментов у нобелевского лауреата Ангуса Дитона и не менее известного философа науки Нэн Картрайт). Вопрос в том, что подавляющему большинству практиков и в голову не приходит использовать эксперименты, даже тогда, когда это не так сложно и дорого, и когда другие методы анализа данных плохо работают. 

1 комментарий:

  1. Комментарий для онлайн маркетологов (и бывших коллег) - рандомизированные эксперименты RCT уже встроены в Google Analytics, их там можно настроить и запустить на вашем сайте в пару кликов. Еще можно попробовать более красивый Optimizely , тоже недавно купленный гуглом.
    Проблема одна - что в RCT будет намного тяжелее найти результаты для менеджера, так что я понимаю, почему в индустрии делают средние по группам и регрессии..

    ОтветитьУдалить