четверг, 28 сентября 2017 г.

Младший ребёнок - это помощь старшему


КС: 
Для современного специалиста по работе с данными государственная программа, которая по-разному имплементируется на региональном уровне - прекрасный повод для проведения исследования. Лишь бы не было оснований считать, что разница в региональной имплементации связана с исследуемым вопросом. Вот Нэнси Чен в статье "The effect of China’s One Child Policy on sex selection, family size, and the school enrollment" анализирует последствия китайской политики "одного ребёнка", начатой в 1979-ом году для борьбы со слишком быстрым ростом населения. Иметь второго ребёнка не запрещалось, но, мягко сказать, не поощрялось - по существу, были существенные материальные стимулы второго ребёнка не иметь. К 1984 году китайское правительство спохватилось - слишком часто родители убивали ребёнка, если он оказывался девочкой (девочек выживало в те годы примерно на 10% меньше, чем в нормально ситуации), и дало указание региональным властям выдавать "разрешения на второго ребёнка". 

Благодаря тому, что политика проводилась в разных местах по-разному, появляется возможность оценить последствия программы, но, главное, попытаться ответить на какие-то из "вечных" вопросов. Например, как сказывается размер семьи на успехах в школе? На обычных данных на такой вопрос не ответишь - например, если те родители, которые высоко ценят образование, одновременно хотят иметь меньше детей, то в результатах будет видна отрицательная связь размера семьи и успехов детей, хотя, как видно, результат будет всего лишь следствием неправильной работы с данными. А вот благодаря случайным отклонениям проведения политики "одного ребёнка" в регионах можно оценить связь размера семьи и дальнейших успехов. Среди прочего - наличие второго ребёнка значительно (больше чем на 15%) повышает вероятность того, что первый будет успешно учиться в школе...

РЕ:
Лично мне, очень хотелось бы избежать такого активное вмешательство государства в личную жизнь, как политика "одного ребенка" в Китае. Но для исследователей это редчайший пример политики, которая напрямую влияет на количество детей в семье и позволяет ответить на очень интересные вопросы, если найти нужную вариацию в имплементацию. 

Нэнси использует вариацию по регионам.  Аспирантка Университета Помпеу Фабра Йининг Генг, например, использует то факт, что ограничения варьировались в зависимости от того, были ли родители прописаны в городе или сельской местности, чтобы показать как эта политика повлияла на неравенство в образовании между девочками и мальчиками. А Рюишю Джиа и Торстен Персон используют тот факт, что политика не затрагивала представитилей национальных меньшинств, чтобы изучать индивидуальные и социальные мотивы формирования национальной идентичности

четверг, 21 сентября 2017 г.

Да научитесь же вы проводить эксперименты

РЕ:
Так как я занимаюсь прежде всего эмпирическими исследованиями, у меня есть некоторые пунктики по поводу работы с данными и меня реально раздражает, когда люди безалаберно анализируют данные, а потом с пафосом рассказывают о получившихся «выводах». И я испытываю садистическое удовольствие, когда их тыкают носом в их ошибки.

К примеру, проверить эффективность рекламной компании в интернете, на самом деле, очень просто. Достаточно провести рандомизированный эксперимент – часть (случайно отобранных) пользователей показать рекламу, а части нет. А потом сравнить, сколько из них пришли к вам на сайт и купили что-нибудь. Казалось бы, что может быть проще? Но люди упорно отказываются это делать и если вообще и пытаются количественно оценить эффективность рекламной компании (что уже большой шаг вперед), то делают это статистическими методами различной навороченности.

Людям в исследовательском отделе Фейсбука, похоже, тоже надоело иметь дело с такими горе-маркетологами и они, совместно с профессорами Келлога, провели масштабное исследование, сравнив экспериментальные результаты со статистическими оценками эффективности для целого набора рекламных компаний. Результаты весьма показательные – даже самые навороченные статистические методы постоянно промахиваются и могут как завысить эффективность рекламы раз, эдак, в восемь, так и недооценить ее в несколько раз. При этом понять, когда результаты завышаются, а когда занижаются, тоже не получилось.  В общем, грош цена этим статистическим исследованиям рекламных компаний.


Господа бизнесмены, да научитесь же вы, наконец, проводить рандомизированные эксперименты. Ей Богу, много чего нового и полезного узнаете.

КС:
Статья отличная, но меня пугает часть тезиса, который ты выдвигаешь. Твои слова не будут восприняты как "все эти статистические методы - ерунда"? Публика, академическая в том числе, навострилась говорить "есть ложь, большая ложь и статистика" - понятно, такая фраза избавляет от необходимости понимать, что такое анализ данных. По-прежнему большинство маркетинговых решений принимается на основе куда более примитивного анализа эффективности, чем те методы, которые критикуются в этой статье. Я бы сказал, что это довольно продвинутые, по меркам практики, методы. (Чем, кстати, хороша эта статья - это тем, что в ней кратко, но детально описаны все критикуемые методы.)

Если же не считать этой оговорки, то твой основной тезис - "нужно на практике проводить рандомизированные эксперименты" мне кажется абсолютно правильным и очень важным. Более того, их часто проводить проще, чем другие исследования! И с помощью Фейсбука, и с помощью других механизмов онлайн-рекламы и даже просто, когда отправляешь девушек и юношей раздавать образцы твоей колбасы или конфет в магазины. Конечно, рандомизировать надо правильно - например, в магазине в разное время могут быть разные, по своим потребительским качествам, посетители. Тогда, если рандомизируешь по времени, когда девушки будут предлагать попробовать колбасу, результаты могут оказаться смещенными. Но это, мне кажется, довольно просто. Проще многих других методов.

РЕ:
Ты меня заставляешь оправдываться за утверждение, которого я никогда не делал. Конечно, есть масса отличных исследований без всяких экспериментов, а у экспериментов есть существенные ограничения (пожалуй, самая известная критика экспериментов у нобелевского лауреата Ангуса Дитона и не менее известного философа науки Нэн Картрайт). Вопрос в том, что подавляющему большинству практиков и в голову не приходит использовать эксперименты, даже тогда, когда это не так сложно и дорого, и когда другие методы анализа данных плохо работают. 

вторник, 19 сентября 2017 г.

Пить или не пить вот в чем вопрос…

РЕ:
Если у вашего приятеля сегодня день рождения, то ответ на гамлетовский вопрос напрашивается сам собою.  Этот факт используется в статья Евгения Яковлева, которая изучает последствия неумеренного потребления алкоголя на здоровье мужчин в России и которая в ближайшее время будет опубликовано в одном из наиболее престижных экономических журналов American Economic Journal: Applied Economics. У этой статьи (помимо завлекательной темы) сразу несколько больших достоинств:
  • Она использует хитрые особенности определения цены акцизов, чтобы устанавливает именно причинно-следственную связь между увеличением цены на водку и снижением смертности. И эффекты эти, как оказывается, сильно отличаются для разных возрастных групп ­­­– увеличение цены на 50% снижает смертность мужчин в возрасте 18-29 лет на 25%, для мужчин в возрасте 30-39 на 20%, но не имеет практически никакого влияния на смертность для мужчин старше 40. При этом, для людей, которые ратовали за снижение цен на водку после историй с ядовитым «Боярышником» надо сразу сказать, что отравления в этих цифрах уже посчитаны.
  • Она строит полноценную структурную модель, которая позволяет не только оценить эффект от уже произошедших изменений в цене на водку, но и оценить последствия потенциальных новых изменений.
  • Она показывает, на сколько важна роль социальных эффектов в  снижении неумеренного потребления алкоголя за счет увеличения цены на водку. Почти 30% всего эффекта объясняется именно тем, что ваши друзья начинают меньше пить.

Что сложнее понять, так это сколько страданий от невыпитой водки приносит повышение цен и компенсируются ли они положительными эффектами на здоровье. Но и тут, похоже, что если мы говорим о повышении на 50%, то люди от этого в целом выигрывают.

КС:
То, что резкое повышение цен на алкоголь и ограничения продаж имеют большие краткосрочные последствия для смертности (то есть, для здоровья в самой экстремальной форме) - это мы знаем из последствией антиалкогольной кампании, начавшейся в 1985 году. Смертность резко упала: неудивительно при том, в какой степени российская смертность связана с алкоголем (и в какой она была связана в СССР). Не знаю, насколько Женя Яковлев собирается в эту тему вникать - я считал, что крупнейшими специалистами по последствиям потребления алкоголя в России являются Уильям Придемор, криминолог из SUNY-Albany и демограф Владимир Школьников из Max Planck. Было бы здорово, если бы экономисты - с их умением строить структурные модели, этим бы занимались больше. 

четверг, 14 сентября 2017 г.

Бюджет и стратегия антиправительственных сил

КС:

Ты, Рубен, у нас главный специалист по Афганистану? Твою статью, анализ полевого эксперимента по использованию помощи для борьбы с антиправительственными силами, все цитируют. Статья про то, как правила проведения выборов влияют на компетентность и этническую принадлежность кандидатов - и тоже на основе полевого эксперимента в Афганистане - мне ещё больше нравится. Но она-то как раз не очень связана с моим сегодняшним вопросом, потому что он как раз про повстанцев, "антиправительственные силы". Мы с Остином Райтом и Джарникае Уилсоном написали небольшую статью - "Rebel Capacity and Randomized Combat", в котором выделяем следующую закономерность: когда бюджет повстанцев сокращается, они меняют набор антиправительственных акций - например, вместо атак на блок-посты используют больше придорожных мин. Это, конечно, очень прикладной результат - например, если он верен и устойчив, правительству нужно менять собственную стратегию в зависимости от цен на героин (основной источник доходов у повстанцев). А, поскольку данные у нас афганские, то меня очень интересует твоё мнение.

РЕ:

То, что вы находите в своей статье звучит убедительно и вписывается в мои представления о динамике конфликта в Афганистане. Да и основная идея статьи о том, что тактика повстанцев зависит от их возможностей кажется железобетонно логичной. На столько логичной, что возникает вопрос, не написал ли кто-то уже что-то похожее. В вашем случае, наиболее близкой статьей, видимо, является работа вашего же коллеги Итона Буено де Мескита в JPE, с доходчивым названием “Rebel Tactics.” Основная идея там в том, что сильные повстанцы, используют «конвенциональную» тактику старых добрых войн с большим количеством солдат, захватом и контролем территорий. Слабые же повстанцы прибегают к «неконвенциональной» тактику террористических атак использую гораздо меньшие людские ресурсы. Эта логика очень хорошо объясняет, почему, например, растущее количество террористических атак со стороны (той самой, запрещенной в России террористической организации) ИГИЛ свидетельствует как раз об их ослаблении. Вместо построения своего «государства», они вынуждены довольствоваться запугиванием окружающего мира. В этом контексте, ваша статья звучит как хорошее дополнение работе Итона, так как показывает, что возможности повстанцев не только влияют на выбор между «конвенциональной» и «неконвенциональной» тактикой, но и на то, какую именно «неконвенциональную» тактику используют относительно слабые повстанцы.

вторник, 12 сентября 2017 г.

Полезные госзакупки

РЕ:
Всегда приятно видеть работы действительно высокого мирового уровня написанные на основе российских данных. Хотя в целом доступность данных, безусловно, является огромной проблемой, иногда исследователям оказывается доступен настоящий информационный Клондайк. Данные о госзакупках как раз относятся к таким редким исключениям, которые позволяют писать на редкость интересные статьи.

Так,  в статье Michael Best, Jonas Hjort и David Szakonyi  анализируются результаты более чем 5 миллионов аукционов по госзакупкам. Работа показывает, что почти треть всей вариации в ценах объясняется индивидуальными характеристиками госчиновников и организаций, проводящих аукционы. То есть какие-то госчиновники, ответственные за проведение аукционов, устойчиво обеспечивают более низкие цены, а какие-то – более высокие. Происходит это, прежде всего, за счет установления различных барьеров для участия в аукционах. Чем ниже барьеры, тем больше участников аукционов, тем ниже цены.

Но самый для меня удивительный результат, это то, что меры по защите отечественного производителя, которые, казалось бы, должны неминуемо привести к росту цен, на самом деле имеют гораздо более хитрый эффект. Они, действительно, ухудшают результаты аукционов, проводимых эффективными чиновниками. Но у неэффективных закупщиков, эффективность, удивительным образом, растет. И происходит это за счет того, что большее количество отечественных поставщиков решается принять участие в аукционах.  Парадоксально, но факт.


Не менее интересная работа Василия Коровкина, Паши Андреянова и Alec Davidson о том, как можно засечь коррупцию на аукционах, используя только точную информацию о времени поступления заявок. Но если первая статья уже обеспечила Майклу Бесту профессорскую позицию в Колумбийском университете, то вторая еще ждет своего случая.

КС: 
Приятно комментировать, в том числе, работы своих бывших студентов - и будущих профессоров - хотя ни Вася, ни Паша не занимались у меня ни аукционами, ни коррупцией. (Хотя, я уверен, что я упоминал последствия дополнительных ограничений на участие в курсе про теорию и практику аукционов, да и коррупцию в курсе политической экономики.) Но это к слову.

Статья Беста и со-авторов - серьёзная похвала авторам закона о госзакупках и серьёзный аргумент в пользу того, что прозрачность и систематизированность процедур работают даже если всё происходит в высокоррумпированной среде. Если бы коррупция решало всё, никаких значимых последствий у индивидуальных характеристик чиновников и организаций быть не должно было бы! Конечно, интересно было бы знать имена чиновников, которые умеют экономить деньги на госзакупках - если (когда) будут выборы, ссылка на результаты статьи, глядишь, и помогла бы более эффективным чиновникам.