Обращение к профессии управления продуктом

О приборе, которым она владеет, — и о решениях, к которым его не приставили

Раздел 1

Родословная, которую стоит перечитать

Меморандум на восьмистах словах

Профессия родилась из меморандума. 13 мая 1931 года двадцатишестилетний сотрудник Procter & Gamble Нил Макэлрой на восьмистах словах предложил должность «человека марки» — того, кто отвечает за судьбу одного продукта, потому что предприятие в целом уже не видит каждый свой продукт1. С тех пор профессия воспроизводит один такт: продукт перестаёт помещаться в одну голову, появляется документ о том, каким продукту быть, а вокруг документа встаёт обряд, то есть регулярное собрание, которое заставляет его наполнять и читать.

Датировки короче, чем принято думать

АртефактОткуда и когда
Дорожная картаТехнологическое планирование; первое формальное описание — процесс Motorola, 1987 год: синхронизация планов технологий и продуктов2
Бэклог продуктаScrum, 19953
Пользовательская историяЭкстремальное программирование, 1999; шаблон «Как (роль), я хочу…» — лондонская Connextra, около 2001-го4
«минимально жизнеспособный продукт»Введён консультантом Фрэнком Робинсоном в 2001-м, разошёлся по миру через книгу 2011 года5
Критерии приёмкиПриёмочные тесты той же школы, что и истории
Балльная приоритизацияИз балльных методов приоритизации опубликованное исследование стоит только за моделью Кано, 1984 год6. RICE появился в 2016 году в корпоративном блоге вендора; рецензируемой проверки его предсказательной силы найти не удаётся7

Обряды вокруг всего этого — груминг, планирование, ревью спринта, демо, квартальное планирование — моложе большинства своих участников.

Что все они компенсировали

Все эти артефакты и обряды компенсируют одно — дорогое описание. Записать, каким продукту быть, стоило дорого; поддерживать запись в соответствии с действительностью — ещё дороже; заставить нужного человека её прочитать — дороже всего. Поэтому спецификацию писали неделями, и она устаревала к концу написания; бэклог пересказывали вслух на груминге (чтение врозь не гарантировало ничего), а дорожную карту рисовали раз в квартал и охраняли как договор. Профессия строила и защищала внешние артефакты, вобравшие то, что перестало помещаться в голову, и процедуры, которые принуждали эти артефакты наполнять и читать. Всё это она называла процессом.

Раздел 2

Доказательная база: сначала о слабом

У ходовых чисел, которыми профессия аргументирует сама себя, надо проверять происхождение. Проверка удручает.

Ходовое числоОткуда оно на самом деле
«64% функций используются редко или никогда»Доклад председателя консалтинговой группы Standish, конференция 2002 года. Выборка — четыре внутренних корпоративных приложения; методика так и не опубликована8
«80% функций используются редко или никогда»Отчёт 2019 года компании, продающей аналитику использования функций, то есть лекарство ровно от диагностируемой болезни9
«95% из тридцати тысяч новых продуктов проваливаются»Приписывается профессору Гарвардской школы бизнеса; опубликованного исследования за числом найти не удалось. Издание самой школы, однажды его повторившее, позже вышло с уточнением, убрав цифру10
«42% стартапов умирают из-за отсутствия рыночной потребности»Подсчёт поставщика данных по добровольным эссе основателей: сто одна самоотобранная история11
Net Promoter Score — «единственное число, которое нужно знать»Продан консалтингом. Независимая репликация на лонгитюдных данных превосходства не подтвердила — что не помешало ему войти в программы сертификаций12

Закономерность повторяется: цифру производит тот, кто продаёт лекарство, — вендор, консалтинг, ассоциация. Практику принимают по легитимности, доказательств никто не спрашивает; механизм описан социологией организаций сорок лет назад и работает «в отсутствие доказательств»13.

Отсюда правило, выполнимое немедленно, — собственный принцип профессии, применённый к себе: число, не прослеженное до первоисточника, считается выдуманным, пока не доказано обратное. Профессия, которая учит проверять гипотезы данными, не может дальше цитировать сама себя по числам, у которых нет автора.

Раздел 3

Прибор

Прибор, а не мнение

У продуктовой профессии есть работающий измерительный прибор, и показание у него такое, какого не даёт ни один другой из разобранных здесь, — причинное. Контролируемый эксперимент — не опрос, не кейс, не максима практика, а процедура, в которой идея проверяется на живом трафике против контроля, и исход не зависит от красноречия автора.

Что прибор показал

Результат воспроизведён многократно и независимо; твёрже этого эмпирического факта в разобранном здесь материале нет ничего.

Где измерялиЧто измерено
Microsoftоколо трети протестированных идей улучшили метрику, которую были призваны улучшить14
Bing и Googleположительный эффект дают лишь 10–20% экспериментов — в зрелых, годами оптимизируемых продуктах15
Booking.comположительный результат — около 10% при более чем двадцати пяти тысячах тестов в год16
Google, 2009из примерно двенадцати тысяч экспериментов к изменениям в бизнесе привёл примерно каждый десятый17
Airbnb, команда поиска92% неудач у команды, двигавшей главный экран самого успешного маркетплейса жилья18

Числа сходятся через компании, годы и домены: большинство идей, предложенных умными, информированными, мотивированными людьми, не улучшает того, что обещает улучшить, и способа заранее отличить меньшинство найти не удалось. Эта ставка успеха — калибровка доверия к продуктовому суждению: другого измеренного факта о его качестве найти не удалось.

Кто ведёт вторую запись

Устройство прибора переживёт любую конкретную реализацию. Контролируемый эксперимент — это две независимые записи одной величины, которые ведут стороны с несовпадающим интересом: заявленное до запуска ожидание автора идеи и измеренный исход, записанный системой, которой безразлично, чья это идея. Расхождение между ними видно арифметикой: без собрания, без начальника, без чьего-либо суждения.

Так пятьсот лет живёт двойная бухгалтерская запись, где расхождение двух книг объявляет само себя19; так столетие живёт сплит-тест в рекламе, начиная с купонов с номерами20. И так работает единственная известная реформа доказательности, чей эффект измерен на целой программе испытаний: когда медицину обязали регистрировать ожидание до замера, доля «успешных» исследований упала с 57% до 8%, то есть большинство прежних успехов было подгонкой записи под уже известный исход.

до обязательной предварительной регистрации исхода 57% после неё 8%
Доля «успешных» крупных клинических исследований до обязательной предварительной регистрации исхода и после неё21.

Продуктовый эксперимент — та же прививка, поставленная себе добровольно.

Продуктовая профессия давно владеет ровно тем механизмом честности (встречной записью «заявлено до / измерено после», где расхождение проверяется арифметикой), к которому всё остальное управление только идёт. И применяет его к меньшинству своих решений.

Почему прибор стоит только на кнопках

Причины не организационные, а физические.

Поэтому прибор стоит на изменениях кнопок и выдач, где всё это есть, а решения о том, что строить, для кого и почём, проходят мимо него почти целиком. Профессия держит лучший из разобранных здесь измерительных инструментов управления и применяет его к малой и наименее судьбоносной доле своих решений.

Что переносится за пределы трафика

Для решения без трафика недоступна статистическая значимость, но доступна честность записи: ожидание, заявленное до и сохранённое, нельзя переписать задним числом. Встречная запись «заявлено до / измерено после» не требует рандомизации, только дисциплины хранения, и именно стоимость хранения сейчас обнулилась.

Раздел 4

Что меняется, когда описание становится бесплатным

Дешёвый обряд не отменяется, а размножается

Способная языковая модель пишет спецификацию, тикет, конкурентный анализ, резюме интервью почти даром. Похоже на освобождение; исторический материал говорит иначе. Удешевление управленческого обряда во всех задокументированных случаях приводило не к отмене, а к размножению: проверка кода из инспекции раз в релиз стала тысячами ревью в месяц, годовая оценка — квартальной, недельная синхронизация — ежедневной22.

Наполнение размножается по той же кривой: бэклог был очередью, пока наполнение фильтровала его собственная цена, а бесплатное наполнение превращает его в свалку. Первые массовые замеры волны уже показывают механизм: 41% работников получают сгенерированную «работу-пустышку», выглядящую как работа и перекладывающую труд проверки на получателя, в среднем почти два часа на разбор одного случая23.

Единица, выдерживающая бесплатное описание

Дефицит не исчез: он переехал на приёмную сторону, на «прочитать, оценить, решить, закрыть, отказать», и это меняет единицу, которой профессия считает свою работу. Задача и функция — единицы наполнения; их производство больше ничего не стоит и потому больше ничего не значит. Остаётся утверждение с проверяемым исходом и адресом: у него есть автор, заявленное ожидание, условие проверки (метрика и срок либо событие) и тот, кто обязан его закрыть. Бэклог в четыре тысячи тикетов может не содержать ни одного такого утверждения, эксперимент содержит его по построению, и разница между этими двумя состояниями и есть предмет профессии.

Раздел 5

Граница: прибор ставится на утверждение, не на человека

Прибор, направленный на человека, портит собственные записи

Сначала правило, без которого всё предыдущее опасно. При базовой ставке успеха в треть и ниже личный счёт «побед» автора идей — на две трети счёт удачи. Наказывать за отрицательный исход значит наказывать за исправную работу прибора. Хуже того: запись, которой оценивают людей, начинает описывать не реальность, а то, что выгодно показать.

Измерено, что наблюдаемость снижает производительность, а её снятие возвращает24. Предупреждение звучит и из самого центра экспериментальной культуры: переоценка успешных экспериментов заставляет людей тестировать только безопасное16. Продуктовая аналитика, направленная на производительность автора гипотез, убивает поступление честных гипотез ровно так же, как надзор убивает канал, за которым надзирают. Прибор ставится на утверждение и его исход, не на человека.

Что не заменят ни прибор, ни модель

Граница здесь проходит по доказанному и по свидетельствам, не по зрелости технологий.

Этим же объясняется живучесть дорожной карты, которую профессия ругает каждый год и не может бросить. Карта и не была точным планом, она пограничный объект: один и тот же артефакт сцепляет продажи, разработку и руководство именно тем, что он один и тот же при разных прочтениях27. Персональные «срезы дорожной карты под стейкхолдера», которые модель делает бесплатными, разрушают ровно то свойство, которым карта держалась.

Вторая граница: ценность замысла прибор не измеряет

Встречная запись прикладывается к суждению и охраняет его честность: ожидание заявлено до и сохранено, отказ хранится наравне с запуском. Ценность самого замысла она не измеряет: второй независимой записи величины «этот замысел хорош» не существует, а согласие о ценности достигается переговорами и суждением, то есть лежит по человеческую сторону границы. Кто прочитает прибор как обещание метрики творчества, прочитает его неверно.

Раздел 6

Что уже происходит — и происходит не туда

Волна 2023–2026 годов пришла в продуктовую работу с наименее полезной стороны. Модель поставили писать спецификации, тикеты, дорожные карты — усиливать наполнение, единственную часть работы, которая и так перестала быть дефицитом. Быстрее всего расходится язык «ИИ-продакта», означающий на практике генерацию артефактов; следом — автоматическая приоритизация балльными методами, то есть ускоренное исполнение процедуры, у которой не было доказательной базы и в ручном исполнении7.

Совпадение показательное: мгновенно автоматизировалось наполнение (формулы, заполнение шаблонов, генерация обоснований), а не поддались переговоры, обязательство, понимание, отбор того, что заслуживает чужого внимания. Инструмент, усиливающий первое и не трогающий второе, увеличивает поток и оставляет узкое горлышко узким.

Раздел 7

Что мы предлагаем сделать — по адресатам

Шесть действий: каждое выполнимо адресатом без чьего-либо разрешения и без покупки чего бы то ни было.

Раздел 8

Как проверить, что мы неправы

Обращение, которое нельзя опровергнуть, не стоит чтения. Каждое из трёх наблюдений опровергает сказанное целиком.

По чему будет видно, что сдвиг состоялся

Ни одно из этих событий нельзя «объявить», все они — чужие тексты и чужие реестры.

Любые два из трёх — и изложенное здесь перестало быть обращением и стало нормой.

Примечания

  1. 1Neil H. McElroy. Внутренний меморандум Procter & Gamble о «brand men», 13 мая 1931 года (около 800 слов); факсимиле опубликовано. Разбор и контекст: Ken Norton. «Product Management Was Born in 1931 (Maybe, Sort Of)», bringthedonuts.com, 2021.
  2. 2Charles H. Willyard, Cheryl W. McClees. «Motorola's Technology Roadmap Process». Research Management 30 (5), 1987, pp. 13–19 — первая формальная публикация о роадмаппинге; статус первой подтверждён историческим обзором: Clive Kerr, Robert Phaal. «Technology roadmapping: Industrial roots, forgotten history and unknown origins». Technological Forecasting and Social Change 155, 2020.
  3. 3Ken Schwaber. «SCRUM Development Process». OOPSLA'95 Workshop on Business Object Design and Implementation, 1995 — первое описание product backlog.
  4. 4Kent Beck. Extreme Programming Explained. Addison-Wesley, 1999. Шаблон «As a… I want… so that…» — компания Connextra (Лондон), около 2001; задокументировано в: Mike Cohn. User Stories Applied. Addison-Wesley, 2004.
  5. 5Термин «minimum viable product» введён Фрэнком Робинсоном (SyncDev) в 2001 году; популяризован: Eric Ries. The Lean Startup. Crown Business, 2011.
  6. 6Noriaki Kano, Nobuhiku Seraku, Fumio Takahashi, Shinichi Tsuji. «Attractive Quality and Must-Be Quality». Hinshitsu (журнал Японского общества контроля качества) 14 (2), 1984.
  7. 7Sean McBride. «RICE: Simple prioritization for product managers». Блог компании Intercom, 2016. Рецензируемых публикаций, проверяющих предсказательную силу метода — против случайного ранжирования или против экспертного суждения, — найти не удалось.
  8. 8Jim Johnson (The Standish Group), кейноут на конференции XP 2002, Сардиния: 45% функций «не используются никогда», 19% — «редко». Происхождение выборки — четыре внутренних корпоративных приложения, методика не опубликована; прослежено с подтверждением от самой Standish Group: Mike Cohn. «Are 64% of Features Really Rarely or Never Used?», mountaingoatsoftware.com, 2015.
  9. 9Pendo. «2019 Feature Adoption Report»: «80% функций используются редко или никогда». Автор отчёта — вендор продуктовой аналитики, то есть продавец средства от диагностируемой болезни; методика не рецензировалась.
  10. 10Число «95% из 30 000 новых продуктов проваливаются» приписывается Клейтону Кристенсену; опубликованного исследования за ним не существует. Издание Гарвардской школы бизнеса, приводившее его: Carmen Nobel. «Clay Christensen's Milkshake Marketing». HBS Working Knowledge, 14.02.2011 — позднее вышло с пометкой «Updated to clarify a failure rate figure included in an earlier version», сохранив лишь «many of them fail».
  11. 11CB Insights. «The Top 20 Reasons Startups Fail», 2014 (обновления 2019, 2021): 42% — «no market need». База — 101 добровольно опубликованный пост-мортем, то есть самоотобранная выборка эссе основателей; автор — поставщик данных.
  12. 12Frederick F. Reichheld. «The One Number You Need to Grow». Harvard Business Review 81 (12), 2003 (метод продвигался Bain & Company и Satmetrix). Независимая проверка: Timothy L. Keiningham, Bruce Cooil, Tor W. Andreassen, Lerzan Aksoy. «A Longitudinal Examination of Net Promoter and Firm Revenue Growth». Journal of Marketing 71 (3), 2007 — превосходство NPS над обычными метриками удовлетворённости не воспроизвелось.
  13. 13Paul J. DiMaggio, Walter W. Powell. «The Iron Cage Revisited: Institutional Isomorphism and Collective Rationality in Organizational Fields». American Sociological Review 48 (2), 1983.
  14. 14Ron Kohavi, Thomas Crook, Roger Longbotham. «Online Experimentation at Microsoft». Third Workshop on Data Mining Case Studies, 2009: «only about 1/3 of ideas improve the metrics they were designed to improve». Методология: Ron Kohavi, Roger Longbotham, Dan Sommerfield, Randal M. Henne. «Controlled experiments on the web: survey and practical guide». Data Mining and Knowledge Discovery 18 (1), 2009, pp. 140–181.
  15. 15Ron Kohavi, Stefan Thomke. «The Surprising Power of Online Experiments». Harvard Business Review 95 (5), сентябрь–октябрь 2017, pp. 74–82: в Google и Bing положительный результат дают лишь около 10–20% экспериментов; по Microsoft в целом — треть положительных, треть нейтральных, треть отрицательных.
  16. 16Stefan Thomke. «Building a Culture of Experimentation». Harvard Business Review 98 (2), март–апрель 2020, pp. 40–48: Booking.com — более 25 000 тестов в год, около 10% положительных; там же — предупреждение, что переоценка успешных экспериментов толкает сотрудников тестировать только заведомо безопасное. Сводка чисел по компаниям: Ron Kohavi, Diane Tang, Ya Xu. Trustworthy Online Controlled Experiments. Cambridge University Press, 2020.
  17. 17Jim Manzi. Uncontrolled: The Surprising Payoff of Trial-and-Error for Business, Politics, and Society. Basic Books, 2012: Google в 2009 году провёл около 12 000 рандомизированных экспериментов, из которых примерно 10% привели к изменениям в бизнесе.
  18. 18Ron Kohavi (в 2019–2020 — вице-президент Airbnb, отвечавший за релевантность поиска), интервью подкасту Lenny's Podcast, 2023: 92% экспериментов команды не улучшили целевую метрику; там же — оценка 80–90% неудач по опубликованным данным других компаний.
  19. 19Luca Pacioli. Summa de arithmetica, geometria, proportioni et proportionalita. Венеция, 1494 — первое печатное описание двойной записи.
  20. 20Claude C. Hopkins. Scientific Advertising. 1923 — сплит-тесты рекламных объявлений с нумерованными купонами: две версии, одна измеряемая величина, исход считается арифметикой.
  21. 21Robert M. Kaplan, Veronica L. Irvin. «Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time». PLoS ONE 10 (8), 2015, e0132382: до введения обязательной предварительной регистрации исходов (2000) значимую пользу показывали 17 из 30 крупных исследований (57%), после — 2 из 25 (8%).
  22. 22Peter Rigby, Christian Bird. «Convergent Contemporary Software Peer Review Practices». FSE 2013 — переход от инспекций Фагана (единицы в релиз) к тысячам ревью в месяц; тот же ход частоты у оценки сотрудников (год → квартал) и командной синхронизации (неделя → день). Документированных случаев отмены управленческого обряда через его удешевление не найдено.
  23. 23Kate Niederhoffer et al. (BetterUp Labs, Stanford Social Media Lab). «AI-Generated "Workslop" Is Destroying Productivity». Harvard Business Review, 22.09.2025. Опрос N=1150: 41% получали такую работу за последний месяц; в среднем 1 ч 56 мин на разбор одного случая.
  24. 24Ethan S. Bernstein. «The Transparency Paradox: A Role for Privacy in Organizational Learning and Operational Control». Administrative Science Quarterly 57 (2), 2012.
  25. 25Kurt Lewin. «Forces behind food habits and methods of change». Bulletin of the National Research Council 108, 1943, и публикации 1947 года. Числа в пересказах расходятся; порядок эффекта устойчив.
  26. 26Joseph Y. Halpern, Yoram Moses. «Knowledge and Common Knowledge in a Distributed Environment». Journal of the ACM 37 (3), 1990 (премия Гёделя 1997 года): общее знание недостижимо асинхронной доставкой сообщений без известной верхней границы задержки.
  27. 27Susan Leigh Star, James R. Griesemer. «Institutional Ecology, "Translations" and Boundary Objects». Social Studies of Science 19 (3), 1989 — артефакт сцепляет разные группы именно тем, что остаётся одним и тем же при разных локальных прочтениях.