Обращение к профессии управления продуктом

О приборе, которым она владеет, — и о решениях, к которым его не приставили

Раздел 1

Родословная, которую стоит перечитать

Профессия родилась из меморандума. 13 мая 1931 года двадцатишестилетний сотрудник Procter & Gamble Нил Макэлрой на восьмистах словах предложил должность «человека марки» — того, кто отвечает за судьбу одного продукта, потому что предприятие в целом уже не видит каждый свой продукт1. С тех пор профессия воспроизводит один такт: продукт перестаёт помещаться в одну голову, появляется документ, описывающий, каким продукту быть, а вокруг документа встаёт обряд, то есть регулярное собрание, которое заставляет документ наполнять и читать.

Родословная главных артефактов короче, чем принято думать, и её полезно датировать. Дорожная карта пришла из технологического планирования; впервые формально описана она была в процессе Motorola, опубликованном в 1987 году как способ синхронизировать планы технологий и продуктов2. Бэклог продукта пришёл из Scrum, 19953; пользовательская история — из экстремального программирования, 1999; шаблон «Как (роль), я хочу…» — из лондонской компании Connextra, около 2001-го4. Термин «минимально жизнеспособный продукт» введён консультантом Фрэнком Робинсоном в 2001-м и разошёлся по миру через книгу 2011 года5. Критерии приёмки выросли из приёмочных тестов той же школы, что и истории. Из балльных методов приоритизации только за моделью Кано стоит опубликованное исследование 1984 года6. Ходовой сегодня RICE появился в 2016 году в корпоративном блоге вендора, и рецензируемой проверки его предсказательной силы найти не удаётся7. Обряды вокруг всего этого (груминг, планирование, ревью спринта, демо, квартальное планирование) моложе большинства своих участников.

Все эти артефакты и обряды принадлежат одному классу машин, компенсирующих дорогое описание: записать, каким продукту быть, стоило дорого; поддерживать запись в соответствии с действительностью стоило ещё дороже; заставить нужного человека её прочитать — дороже всего. Поэтому спецификация писалась неделями и устаревала к концу написания; поэтому бэклог пересказывался вслух на груминге, ведь чтение врозь не гарантировало ничего; поэтому дорожная карта рисовалась раз в квартал и охранялась как договор. Профессия строила и защищала внешние носители того, что перестало помещаться в голову, и процедуры, которые принуждали эти носители наполнять и читать, и называла это процессом.

Раздел 2

Доказательная база: сначала честно о слабом

У ходовых чисел, которыми профессия аргументирует сама себя, надо проверять происхождение, и проверка удручает.

«64% функций используются редко или никогда» восходит к докладу председателя консалтинговой группы Standish на конференции 2002 года, где выборкой служили четыре внутренних корпоративных приложения, а методика так и не была опубликована8. «80% функций почти не используются» — отчёт 2019 года компании, продающей аналитику использования функций, то есть лекарство ровно от диагностируемой болезни9. «95% из тридцати тысяч новых продуктов проваливаются» приписывается профессору Гарвардской школы бизнеса, хотя исследования за числом не существует. Даже издание самой школы, однажды его повторившее, позже вышло с уточнением, убрав цифру10. «42% стартапов умирают из-за отсутствия рыночной потребности» — подсчёт поставщика данных по добровольным эссе основателей, сто одна самоотобранная история11. Net Promoter Score продан консалтингом как «единственное число, которое нужно знать». Независимая репликация на лонгитюдных данных его превосходства не подтвердила, что не помешало ему войти в программы сертификаций12. Закономерность одна и повторяется: цифру производит тот, кто продаёт лекарство, — вендор, консалтинг, ассоциация. Практики же принимаются по легитимности, а доказательств никто не спрашивает; механизм этот описан социологией организаций сорок лет назад и работает «в отсутствие доказательств»13.

Отсюда правило, которое профессии по силам принять немедленно и которое для неё — собственный принцип, применённый к себе: число, не прослеженное до первоисточника, считается выдуманным, пока не доказано обратное. Профессия, которая учит проверять гипотезы данными, не может дальше цитировать сама себя по числам, у которых нет автора.

Раздел 3

Прибор

Теперь о сильном, и это ядро обращения. У продуктовой профессии есть то, чего нет ни у одной другой ветви управления, — работающий измерительный прибор. Контролируемый эксперимент — не опрос, не кейс, не максима практика, а процедура, в которой идея проверяется на живом трафике против контроля, и исход не зависит от красноречия автора.

И прибор дал результат, который воспроизведён многократно и независимо: твёрже этого эмпирического факта в науке об управлении нет ничего. В Microsoft лишь около трети протестированных идей улучшили метрику, которую были призваны улучшить14. В зрелых, годами оптимизируемых продуктах хуже: в Bing и Google положительный эффект дают лишь 10–20% экспериментов15. В Booking.com при двадцати пяти тысячах тестов в год — около 10%16. В Google 2009 года из примерно двенадцати тысяч экспериментов к изменениям в бизнесе привёл примерно каждый десятый17. В Airbnb команда поиска (та самая, что двигала главный экран самого успешного маркетплейса жилья) получала 92% неудач18. Числа сходятся через компании, годы и домены: большинство идей, предложенных умными, информированными, мотивированными людьми, не улучшает того, что обещает улучшить, и заранее отличить меньшинство не удаётся никому. Эта ставка успеха — калибровка доверия к продуктовому суждению: другого измеренного факта о его качестве у профессии нет.

Стоит разглядеть, как прибор устроен, потому что устройство переживёт любую конкретную реализацию. Контролируемый эксперимент — это две независимые записи одной величины, которые ведут стороны с несовпадающим интересом: заявленное до запуска ожидание автора идеи и измеренный исход, записанный системой, которой безразлично, чья это идея. Расхождение между ними видно арифметикой: без собрания, без начальника, без чьего-либо суждения. Так пятьсот лет живёт двойная бухгалтерская запись, где расхождение двух книг объявляет само себя19; так столетие живёт сплит-тест в рекламе, начиная с купонов с номерами20. И так работает единственная реформа доказательности, чей эффект измерен на целой науке. Когда медицину обязали регистрировать ожидание до замера, доля «успешных» исследований упала с 57% до 8%, то есть большинство прежних успехов было подгонкой записи под уже известный исход21. Продуктовый эксперимент — та же прививка, поставленная себе добровольно.

Иными словами: продуктовая профессия давно владеет ровно тем механизмом честности (парой «заявлено до / измерено после», где расхождение проверяется арифметикой), к которому всё остальное управление только идёт. И применяет его к меньшинству своих решений.

Почему к меньшинству — надо сказать без смягчения, потому что причины не организационные, а физические. Эксперимент требует трафика: без выборки нет мощности, и B2B-продукт с двадцатью клиентами не измерит ничего. Он требует обратимости: вариант B должен выключаться, а смена платформы, цены, позиционирования не выключается. Он требует метрики, о которой договорились заранее, а у решений, определяющих судьбу продукта, горизонт длиннее любой метрики квартала. Поэтому прибор стоит на изменениях кнопок и выдач, где всё это есть, а решения о том, что строить, для кого и почём, проходят мимо него почти целиком. Честный итог звучит неудобно, и потому его надо произнести: профессия держит лучший измерительный инструмент в управлении и применяет его к малой и наименее судьбоносной доле своих решений.

Но из прибора извлекается конструкция, и она переносима туда, куда сам прибор не переносится. Для решения без трафика недоступна статистическая значимость, но доступна честность записи: ожидание, которое заявлено до и сохранено, нельзя переписать задним числом. Пара «заявлено до / измерено после» не требует рандомизации, только дисциплины хранения, и именно стоимость хранения сейчас обнулилась.

Раздел 4

Что меняется, когда описание становится бесплатным

Способная языковая модель пишет спецификацию, тикет, конкурентный анализ, резюме интервью почти даром, и кажется, что это освобождение, но исторический материал говорит иначе. Удешевление управленческого обряда во всех задокументированных случаях приводило не к его отмене, а к его размножению: проверка кода из инспекции раз в релиз стала тысячами ревью в месяц, годовая оценка — квартальной, недельная синхронизация — ежедневной22. Наполнение размножается по той же кривой. Бэклог, который дорого было наполнять, был очередью, потому что наполнение фильтровалось собственной ценой; бэклог, который наполняется бесплатно, становится свалкой. Первые массовые замеры волны уже показывают механизм: 41% работников получают сгенерированную «работу-пустышку», выглядящую как работа и перекладывающую труд проверки на получателя, в среднем почти два часа на разбор одного случая23.

Дефицит, стало быть, не исчез: он переехал на приёмную сторону, на «прочитать, оценить, решить, закрыть, отказать», и это меняет единицу, которой профессия считает свою работу. Задача и функция — единицы наполнения; их производство больше ничего не стоит и потому больше ничего не значит. Единицей, выдерживающей бесплатное описание, остаётся утверждение с проверяемым исходом и адресом: у него есть автор, заявленное ожидание, условие проверки (метрика и срок либо событие) и тот, кто обязан его закрыть. Бэклог в четыре тысячи тикетов может не содержать ни одного такого утверждения, эксперимент содержит его по построению, и разница между этими двумя состояниями и есть предмет профессии.

Раздел 5

Граница: прибор ставится на утверждение, не на человека

Сначала правило, без которого всё предыдущее опасно. При базовой ставке успеха в треть и ниже личный счёт «побед» автора идей — на две трети счёт удачи. Наказывать за отрицательный исход значит наказывать за исправную работу прибора. Хуже того: запись, которой начинают оценивать людей, перестаёт описывать реальность и начинает описывать то, что выгодно показать. Измерено, что наблюдаемость снижает производительность, а её снятие возвращает24. И предупреждение звучит из самого центра экспериментальной культуры: переоценка успешных экспериментов заставляет людей тестировать только безопасное16. Продуктовая аналитика, направленная на производительность автора гипотез, убивает поступление честных гипотез ровно так же, как надзор убивает канал, за которым надзирают. Прибор ставится на утверждение и его исход, не на человека.

Теперь о том, чего не заменят ни прибор, ни модель, потому что граница здесь проходит по доказанному, не по зрелости технологий. Приоритизация — это переговоры, в которых кто-то теряет: людей, ресурс, обещание клиенту; балльная формула, выдающая число, не снимает переговоры, она лишь прячет, кто проиграл, и переносит спор в веса. Решение о том, чему стать публичным обязательством и попасть в дорожную карту, обещанную рынку, не выводится из данных, потому что обязательство держится тем, что его слышали те, перед кем отвечают. После лекции поведение меняют около 3% слушателей, после публичного группового обязательства — около 32%25. Подтверждение, что человек понял, исходит только от понявшего: резюме ста интервью доставляет формулировки, но понимание клиента не суммируется, оно строится обменом. И общее знание команды (когда все знают, и все знают, что все знают) недостижимо рассылкой персональных сводок: это теорема, а не инженерное ограничение26. Этим же объясняется живучесть дорожной карты, которую профессия ругает каждый год и не может бросить. Карта никогда не была точным планом, она пограничный объект: один и тот же артефакт сцепляет продажи, разработку и руководство именно тем, что он один и тот же при разных прочтениях27. Персональные «срезы дорожной карты под стейкхолдера», которые модель делает бесплатными, разрушают ровно то свойство, которым карта держалась.

У пары есть и вторая граница, её стоит произнести отдельно. Пара прикладывается к суждению и охраняет его честность: ожидание заявлено до и сохранено, отказ хранится наравне с запуском. Ценность самого замысла она не измеряет. Второй независимой записи величины «этот замысел хорош» не существует; согласие о ценности достигается переговорами и суждением, то есть лежит по человеческую сторону границы. Кто прочитает прибор как обещание метрики творчества, прочитает его неверно.

Раздел 6

Что уже происходит — и происходит не туда

Волна 2023–2026 годов пришла в продуктовую работу с той стороны, с которой от неё меньше всего пользы. Модель поставили писать спецификации, тикеты, дорожные карты, то есть усиливать наполнение, единственную часть работы, которая и так перестала быть дефицитом. Быстрее всего расходится язык «ИИ-продакта», означающий на практике генерацию артефактов; следом — автоматическая приоритизация балльными методами, то есть ускоренное исполнение процедуры, у которой не было доказательной базы и в ручном исполнении7. Совпадение здесь показательное: мгновенно автоматизировалось наполнение (формулы, заполнение шаблонов, генерация обоснований), а не поддались переговоры, обязательство, понимание, отбор того, что заслуживает чужого внимания. Инструмент, который усиливает первое и не трогает второе, увеличивает поток и оставляет узкое место узким.

Раздел 7

Что мы предлагаем сделать — по адресатам

Шесть действий, каждое выполнимо адресатом без чьего-либо разрешения, и ни одно не требует покупки чего бы то ни было.

1Школам и курсам продакт-менеджмента — разделить знание и конвенцию. Преподавать балльные приоритизации можно, но с указанием происхождения: корпоративный блог, год, отсутствие проверки. А в ядро программы положить единственный воспроизведённый результат профессии, ставку успеха идей в треть и ниже14,15,16, и его следствия: калибровку уверенности, цену непроверенного запуска, арифметику счёта побед. Правило первоисточника — в первую лекцию.

2Конференциям и изданиям — требовать знаменатель. У каждого числа на слайде должен быть первоисточник, у каждого кейса — знаменатель: сколько всего запусков стояло за показанным успехом и было ли ожидание заявлено до замера. Кейс без знаменателя — реклама, и площадка, принимающая его без вопроса, участвует в производстве тех самых чисел из раздела 2.

3Руководителям продуктовых организаций — закрепить пару в регламенте. У каждой поставки — заявленное до релиза ожидание (какая величина, в какую сторону, к какому сроку) и измеренный исход; оба хранятся и не редактируются задним числом; отказ от идеи фиксируется наравне с запуском. Это не бюрократия, а перенос механизма эксперимента на решения, до которых сам эксперимент не дотягивается, и цена этого правила измерена на медицине: 57% против 8%21. Модель делает стоимость такого учёта пренебрежимой. Организация, не ведущая его и после этого, отвечает на вопрос о причине: дело было не в цене, а в нежелании видеть собственный счёт.

4Им же — сделать срез по авторам невозможным, а не запрещённым. Хранилище ожиданий и исходов устроено так, что счёт побед человека из него не строится: устройство, в отличие от политики, не переписывается. Причина в разделе 5: иначе через квартал в хранилище будут лежать только безопасные гипотезы16,24.

5Авторам фреймворков и сертификаций — опубликовать основания. Для каждого преподаваемого метода — либо доказательная база, либо честная пометка «конвенция»: полезная, распространённая, непроверенная. Включить в программы устройство прибора (двойную запись ожидания и исхода) и его границу: что требует трафика, обратимости и метрики, а что не переносится на инструмент вовсе26. Сертификация, преподающая границы своих методов, впервые преподаёт не только методы.

6Профессиональным сообществам — начать измерять то, что не измеряет никто. Три величины измеримы уже сегодня. Латентность решения: сколько живёт утверждение от появления до проверки или закрытия. Возраст нерешённого сегодня не видит ни один инструмент, хотя каждый показывает возраст тикета. Доля поставок с заранее заявленным ожиданием — по сути, охват профессии собственным прибором; сегодня эта доля неизвестна даже порядком. И судьба отклонённого: не проследив, что стало с идеями, которым отказали, цену ложноотрицательных решений не измерить, и о ней профессия не знает ничего, потому что хоронит отказы без записи.

Раздел 8

Как проверить, что мы неправы

Обращение, которое нельзя опровергнуть, не стоит чтения, поэтому вот наблюдения, каждое из которых опровергает сказанное целиком.

Если там, где эксперимент давно дёшев и налажен, пара «заявлено до / измерено после» так и не распространяется на решения за пределами трафика — значит, барьером было нежелание быть проверенным, и бесплатное описание не изменит ничего: организациям было удобно не записывать ожиданий, а дорогая запись была ширмой. Тогда раздел 4 неверен в корне.

Если ставка успеха идей при заранее заявленных ожиданиях и честной метрике окажется систематически высокой (две трети и выше в новых доменах) — значит, результат прибора был свойством зрелых, вылизанных продуктов, но не продуктового суждения как такового, и центральный факт этого обращения окажется частным случаем, из которого ничего не следует.

Если через десятилетие бэклоги не разбухнут и приёмная сторона не станет узким местом — значит, размножение дешёвого потока на продуктовую работу не переносится, и смена единицы, предложенная в разделе 4, решает несуществующую проблему.

И симметрично: по чему можно узнать, что сдвиг состоялся. Ни одно из этих событий нельзя «объявить», все они — чужие тексты и чужие реестры. Сертификационная программа включает ставку успеха идей и правило первоисточника в обязательную часть. Регламент крупной продуктовой организации требует заявленного до релиза ожидания и хранит отказ наравне с запуском. Появляется первый воспроизводимый публичный замер латентности продуктового решения. Любые два из трёх — и изложенное здесь перестало быть обращением и стало нормой.

Примечания

  1. 1Neil H. McElroy. Внутренний меморандум Procter & Gamble о «brand men», 13 мая 1931 года (около 800 слов); факсимиле опубликовано. Разбор и контекст: Ken Norton. «Product Management Was Born in 1931 (Maybe, Sort Of)», bringthedonuts.com, 2021.
  2. 2Charles H. Willyard, Cheryl W. McClees. «Motorola's Technology Roadmap Process». Research Management 30 (5), 1987, pp. 13–19 — первая формальная публикация о роадмаппинге; статус первой подтверждён историческим обзором: Clive Kerr, Robert Phaal. «Technology roadmapping: Industrial roots, forgotten history and unknown origins». Technological Forecasting and Social Change 155, 2020.
  3. 3Ken Schwaber. «SCRUM Development Process». OOPSLA'95 Workshop on Business Object Design and Implementation, 1995 — первое описание product backlog.
  4. 4Kent Beck. Extreme Programming Explained. Addison-Wesley, 1999. Шаблон «As a… I want… so that…» — компания Connextra (Лондон), около 2001; задокументировано в: Mike Cohn. User Stories Applied. Addison-Wesley, 2004.
  5. 5Термин «minimum viable product» введён Фрэнком Робинсоном (SyncDev) в 2001 году; популяризован: Eric Ries. The Lean Startup. Crown Business, 2011.
  6. 6Noriaki Kano, Nobuhiku Seraku, Fumio Takahashi, Shinichi Tsuji. «Attractive Quality and Must-Be Quality». Hinshitsu (журнал Японского общества контроля качества) 14 (2), 1984.
  7. 7Sean McBride. «RICE: Simple prioritization for product managers». Блог компании Intercom, 2016. Рецензируемых публикаций, проверяющих предсказательную силу метода — против случайного ранжирования или против экспертного суждения, — найти не удалось.
  8. 8Jim Johnson (The Standish Group), кейноут на конференции XP 2002, Сардиния: 45% функций «не используются никогда», 19% — «редко». Происхождение выборки — четыре внутренних корпоративных приложения, методика не опубликована; прослежено с подтверждением от самой Standish Group: Mike Cohn. «Are 64% of Features Really Rarely or Never Used?», mountaingoatsoftware.com, 2015.
  9. 9Pendo. «2019 Feature Adoption Report»: «80% функций используются редко или никогда». Автор отчёта — вендор продуктовой аналитики, то есть продавец средства от диагностируемой болезни; методика не рецензировалась.
  10. 10Число «95% из 30 000 новых продуктов проваливаются» приписывается Клейтону Кристенсену; опубликованного исследования за ним не существует. Издание Гарвардской школы бизнеса, приводившее его: Carmen Nobel. «Clay Christensen's Milkshake Marketing». HBS Working Knowledge, 14.02.2011 — позднее вышло с пометкой «Updated to clarify a failure rate figure included in an earlier version», сохранив лишь «many of them fail».
  11. 11CB Insights. «The Top 20 Reasons Startups Fail», 2014 (обновления 2019, 2021): 42% — «no market need». База — 101 добровольно опубликованный пост-мортем, то есть самоотобранная выборка эссе основателей; автор — поставщик данных.
  12. 12Frederick F. Reichheld. «The One Number You Need to Grow». Harvard Business Review 81 (12), 2003 (метод продвигался Bain & Company и Satmetrix). Независимая проверка: Timothy L. Keiningham, Bruce Cooil, Tor W. Andreassen, Lerzan Aksoy. «A Longitudinal Examination of Net Promoter and Firm Revenue Growth». Journal of Marketing 71 (3), 2007 — превосходство NPS над обычными метриками удовлетворённости не воспроизвелось.
  13. 13Paul J. DiMaggio, Walter W. Powell. «The Iron Cage Revisited: Institutional Isomorphism and Collective Rationality in Organizational Fields». American Sociological Review 48 (2), 1983.
  14. 14Ron Kohavi, Thomas Crook, Roger Longbotham. «Online Experimentation at Microsoft». Third Workshop on Data Mining Case Studies, 2009: «only about 1/3 of ideas improve the metrics they were designed to improve». Методология: Ron Kohavi, Roger Longbotham, Dan Sommerfield, Randal M. Henne. «Controlled experiments on the web: survey and practical guide». Data Mining and Knowledge Discovery 18 (1), 2009, pp. 140–181.
  15. 15Ron Kohavi, Stefan Thomke. «The Surprising Power of Online Experiments». Harvard Business Review 95 (5), сентябрь–октябрь 2017, pp. 74–82: в Google и Bing положительный результат дают лишь около 10–20% экспериментов; по Microsoft в целом — треть положительных, треть нейтральных, треть отрицательных.
  16. 16Stefan Thomke. «Building a Culture of Experimentation». Harvard Business Review 98 (2), март–апрель 2020, pp. 40–48: Booking.com — более 25 000 тестов в год, около 10% положительных; там же — предупреждение, что переоценка успешных экспериментов толкает сотрудников тестировать только заведомо безопасное. Сводка чисел по компаниям: Ron Kohavi, Diane Tang, Ya Xu. Trustworthy Online Controlled Experiments. Cambridge University Press, 2020.
  17. 17Jim Manzi. Uncontrolled: The Surprising Payoff of Trial-and-Error for Business, Politics, and Society. Basic Books, 2012: Google в 2009 году провёл около 12 000 рандомизированных экспериментов, из которых примерно 10% привели к изменениям в бизнесе.
  18. 18Ron Kohavi (в 2019–2020 — вице-президент Airbnb, отвечавший за релевантность поиска), интервью подкасту Lenny's Podcast, 2023: 92% экспериментов команды не улучшили целевую метрику; там же — оценка 80–90% неудач по опубликованным данным других компаний.
  19. 19Luca Pacioli. Summa de arithmetica, geometria, proportioni et proportionalita. Венеция, 1494 — первое печатное описание двойной записи.
  20. 20Claude C. Hopkins. Scientific Advertising. 1923 — сплит-тесты рекламных объявлений с нумерованными купонами: две версии, одна измеряемая величина, исход считается арифметикой.
  21. 21Robert M. Kaplan, Veronica L. Irvin. «Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time». PLoS ONE 10 (8), 2015, e0132382: до введения обязательной предварительной регистрации исходов (2000) значимую пользу показывали 17 из 30 крупных исследований (57%), после — 2 из 25 (8%).
  22. 22Peter Rigby, Christian Bird. «Convergent Contemporary Software Peer Review Practices». FSE 2013 — переход от инспекций Фагана (единицы в релиз) к тысячам ревью в месяц; тот же ход частоты у оценки сотрудников (год → квартал) и командной синхронизации (неделя → день). Документированных случаев отмены управленческого обряда через его удешевление не найдено.
  23. 23Kate Niederhoffer et al. (BetterUp Labs, Stanford Social Media Lab). «AI-Generated "Workslop" Is Destroying Productivity». Harvard Business Review, 22.09.2025. Опрос N=1150: 41% получали такую работу за последний месяц; в среднем 1 ч 56 мин на разбор одного случая.
  24. 24Ethan S. Bernstein. «The Transparency Paradox: A Role for Privacy in Organizational Learning and Operational Control». Administrative Science Quarterly 57 (2), 2012.
  25. 25Kurt Lewin. «Forces behind food habits and methods of change». Bulletin of the National Research Council 108, 1943, и публикации 1947 года. Числа в пересказах расходятся; порядок эффекта устойчив.
  26. 26Joseph Y. Halpern, Yoram Moses. «Knowledge and Common Knowledge in a Distributed Environment». Journal of the ACM 37 (3), 1990 (премия Гёделя 1997 года): общее знание недостижимо асинхронной доставкой сообщений без известной верхней границы задержки.
  27. 27Susan Leigh Star, James R. Griesemer. «Institutional Ecology, "Translations" and Boundary Objects». Social Studies of Science 19 (3), 1989 — артефакт сцепляет разные группы именно тем, что остаётся одним и тем же при разных локальных прочтениях.