Раздел 1
Родословная, которую стоит перечитать
Меморандум на восьмистах словах
Профессия родилась из меморандума. 13 мая 1931 года двадцатишестилетний сотрудник Procter & Gamble Нил Макэлрой на восьмистах словах предложил должность «человека марки» — того, кто отвечает за судьбу одного продукта, потому что предприятие в целом уже не видит каждый свой продукт1. С тех пор профессия воспроизводит один такт: продукт перестаёт помещаться в одну голову, появляется документ о том, каким продукту быть, а вокруг документа встаёт обряд, то есть регулярное собрание, которое заставляет его наполнять и читать.
Датировки короче, чем принято думать
| Артефакт | Откуда и когда |
|---|---|
| Дорожная карта | Технологическое планирование; первое формальное описание — процесс Motorola, 1987 год: синхронизация планов технологий и продуктов2 |
| Бэклог продукта | Scrum, 19953 |
| Пользовательская история | Экстремальное программирование, 1999; шаблон «Как (роль), я хочу…» — лондонская Connextra, около 2001-го4 |
| «минимально жизнеспособный продукт» | Введён консультантом Фрэнком Робинсоном в 2001-м, разошёлся по миру через книгу 2011 года5 |
| Критерии приёмки | Приёмочные тесты той же школы, что и истории |
| Балльная приоритизация | Из балльных методов приоритизации опубликованное исследование стоит только за моделью Кано, 1984 год6. RICE появился в 2016 году в корпоративном блоге вендора; рецензируемой проверки его предсказательной силы найти не удаётся7 |
Обряды вокруг всего этого — груминг, планирование, ревью спринта, демо, квартальное планирование — моложе большинства своих участников.
Что все они компенсировали
Все эти артефакты и обряды компенсируют одно — дорогое описание. Записать, каким продукту быть, стоило дорого; поддерживать запись в соответствии с действительностью — ещё дороже; заставить нужного человека её прочитать — дороже всего. Поэтому спецификацию писали неделями, и она устаревала к концу написания; бэклог пересказывали вслух на груминге (чтение врозь не гарантировало ничего), а дорожную карту рисовали раз в квартал и охраняли как договор. Профессия строила и защищала внешние артефакты, вобравшие то, что перестало помещаться в голову, и процедуры, которые принуждали эти артефакты наполнять и читать. Всё это она называла процессом.
Раздел 2
Доказательная база: сначала о слабом
У ходовых чисел, которыми профессия аргументирует сама себя, надо проверять происхождение. Проверка удручает.
| Ходовое число | Откуда оно на самом деле |
|---|---|
| «64% функций используются редко или никогда» | Доклад председателя консалтинговой группы Standish, конференция 2002 года. Выборка — четыре внутренних корпоративных приложения; методика так и не опубликована8 |
| «80% функций используются редко или никогда» | Отчёт 2019 года компании, продающей аналитику использования функций, то есть лекарство ровно от диагностируемой болезни9 |
| «95% из тридцати тысяч новых продуктов проваливаются» | Приписывается профессору Гарвардской школы бизнеса; опубликованного исследования за числом найти не удалось. Издание самой школы, однажды его повторившее, позже вышло с уточнением, убрав цифру10 |
| «42% стартапов умирают из-за отсутствия рыночной потребности» | Подсчёт поставщика данных по добровольным эссе основателей: сто одна самоотобранная история11 |
| Net Promoter Score — «единственное число, которое нужно знать» | Продан консалтингом. Независимая репликация на лонгитюдных данных превосходства не подтвердила — что не помешало ему войти в программы сертификаций12 |
Закономерность повторяется: цифру производит тот, кто продаёт лекарство, — вендор, консалтинг, ассоциация. Практику принимают по легитимности, доказательств никто не спрашивает; механизм описан социологией организаций сорок лет назад и работает «в отсутствие доказательств»13.
Отсюда правило, выполнимое немедленно, — собственный принцип профессии, применённый к себе: число, не прослеженное до первоисточника, считается выдуманным, пока не доказано обратное. Профессия, которая учит проверять гипотезы данными, не может дальше цитировать сама себя по числам, у которых нет автора.
Раздел 3
Прибор
Прибор, а не мнение
У продуктовой профессии есть работающий измерительный прибор, и показание у него такое, какого не даёт ни один другой из разобранных здесь, — причинное. Контролируемый эксперимент — не опрос, не кейс, не максима практика, а процедура, в которой идея проверяется на живом трафике против контроля, и исход не зависит от красноречия автора.
Что прибор показал
Результат воспроизведён многократно и независимо; твёрже этого эмпирического факта в разобранном здесь материале нет ничего.
| Где измеряли | Что измерено |
|---|---|
| Microsoft | около трети протестированных идей улучшили метрику, которую были призваны улучшить14 |
| Bing и Google | положительный эффект дают лишь 10–20% экспериментов — в зрелых, годами оптимизируемых продуктах15 |
| Booking.com | положительный результат — около 10% при более чем двадцати пяти тысячах тестов в год16 |
| Google, 2009 | из примерно двенадцати тысяч экспериментов к изменениям в бизнесе привёл примерно каждый десятый17 |
| Airbnb, команда поиска | 92% неудач у команды, двигавшей главный экран самого успешного маркетплейса жилья18 |
Числа сходятся через компании, годы и домены: большинство идей, предложенных умными, информированными, мотивированными людьми, не улучшает того, что обещает улучшить, и способа заранее отличить меньшинство найти не удалось. Эта ставка успеха — калибровка доверия к продуктовому суждению: другого измеренного факта о его качестве найти не удалось.
Кто ведёт вторую запись
Устройство прибора переживёт любую конкретную реализацию. Контролируемый эксперимент — это две независимые записи одной величины, которые ведут стороны с несовпадающим интересом: заявленное до запуска ожидание автора идеи и измеренный исход, записанный системой, которой безразлично, чья это идея. Расхождение между ними видно арифметикой: без собрания, без начальника, без чьего-либо суждения.
Так пятьсот лет живёт двойная бухгалтерская запись, где расхождение двух книг объявляет само себя19; так столетие живёт сплит-тест в рекламе, начиная с купонов с номерами20. И так работает единственная известная реформа доказательности, чей эффект измерен на целой программе испытаний: когда медицину обязали регистрировать ожидание до замера, доля «успешных» исследований упала с 57% до 8%, то есть большинство прежних успехов было подгонкой записи под уже известный исход.
Продуктовый эксперимент — та же прививка, поставленная себе добровольно.
Продуктовая профессия давно владеет ровно тем механизмом честности (встречной записью «заявлено до / измерено после», где расхождение проверяется арифметикой), к которому всё остальное управление только идёт. И применяет его к меньшинству своих решений.
Почему прибор стоит только на кнопках
Причины не организационные, а физические.
- Трафик. Без выборки нет мощности, и B2B-продукт с двадцатью клиентами не измерит ничего.
- Обратимость. Вариант B должен выключаться, а смена платформы, цены, позиционирования не выключается.
- Метрика, о которой договорились заранее. У решений, определяющих судьбу продукта, горизонт длиннее любой метрики квартала.
Поэтому прибор стоит на изменениях кнопок и выдач, где всё это есть, а решения о том, что строить, для кого и почём, проходят мимо него почти целиком. Профессия держит лучший из разобранных здесь измерительных инструментов управления и применяет его к малой и наименее судьбоносной доле своих решений.
Что переносится за пределы трафика
Для решения без трафика недоступна статистическая значимость, но доступна честность записи: ожидание, заявленное до и сохранённое, нельзя переписать задним числом. Встречная запись «заявлено до / измерено после» не требует рандомизации, только дисциплины хранения, и именно стоимость хранения сейчас обнулилась.
Раздел 4
Что меняется, когда описание становится бесплатным
Дешёвый обряд не отменяется, а размножается
Способная языковая модель пишет спецификацию, тикет, конкурентный анализ, резюме интервью почти даром. Похоже на освобождение; исторический материал говорит иначе. Удешевление управленческого обряда во всех задокументированных случаях приводило не к отмене, а к размножению: проверка кода из инспекции раз в релиз стала тысячами ревью в месяц, годовая оценка — квартальной, недельная синхронизация — ежедневной22.
Наполнение размножается по той же кривой: бэклог был очередью, пока наполнение фильтровала его собственная цена, а бесплатное наполнение превращает его в свалку. Первые массовые замеры волны уже показывают механизм: 41% работников получают сгенерированную «работу-пустышку», выглядящую как работа и перекладывающую труд проверки на получателя, в среднем почти два часа на разбор одного случая23.
Единица, выдерживающая бесплатное описание
Дефицит не исчез: он переехал на приёмную сторону, на «прочитать, оценить, решить, закрыть, отказать», и это меняет единицу, которой профессия считает свою работу. Задача и функция — единицы наполнения; их производство больше ничего не стоит и потому больше ничего не значит. Остаётся утверждение с проверяемым исходом и адресом: у него есть автор, заявленное ожидание, условие проверки (метрика и срок либо событие) и тот, кто обязан его закрыть. Бэклог в четыре тысячи тикетов может не содержать ни одного такого утверждения, эксперимент содержит его по построению, и разница между этими двумя состояниями и есть предмет профессии.
Раздел 5
Граница: прибор ставится на утверждение, не на человека
Прибор, направленный на человека, портит собственные записи
Сначала правило, без которого всё предыдущее опасно. При базовой ставке успеха в треть и ниже личный счёт «побед» автора идей — на две трети счёт удачи. Наказывать за отрицательный исход значит наказывать за исправную работу прибора. Хуже того: запись, которой оценивают людей, начинает описывать не реальность, а то, что выгодно показать.
Измерено, что наблюдаемость снижает производительность, а её снятие возвращает24. Предупреждение звучит и из самого центра экспериментальной культуры: переоценка успешных экспериментов заставляет людей тестировать только безопасное16. Продуктовая аналитика, направленная на производительность автора гипотез, убивает поступление честных гипотез ровно так же, как надзор убивает канал, за которым надзирают. Прибор ставится на утверждение и его исход, не на человека.
Что не заменят ни прибор, ни модель
Граница здесь проходит по доказанному и по свидетельствам, не по зрелости технологий.
- Приоритизация — это переговоры, в которых кто-то теряет: людей, ресурс, обещание клиенту. Балльная формула, выдающая число, переговоры не снимает: она прячет, кто проиграл, и переносит спор в веса.
- Публичное обязательство. Решение о том, чему стать обязательством и попасть в дорожную карту, обещанную рынку, не выводится из данных: обязательство держится тем, что его слышали те, перед кем отвечают. После лекции поведение меняют около 3% слушателей, после публичного группового обязательства — около 32%25.
- Подтверждение, что человек понял, исходит только от понявшего: резюме ста интервью доставляет формулировки, но понимание клиента не суммируется, а строится обменом.
- Общее знание команды — когда все знают, и все знают, что все знают, — недостижимо рассылкой персональных сводок: это теорема, а не инженерное ограничение26.
Этим же объясняется живучесть дорожной карты, которую профессия ругает каждый год и не может бросить. Карта и не была точным планом, она пограничный объект: один и тот же артефакт сцепляет продажи, разработку и руководство именно тем, что он один и тот же при разных прочтениях27. Персональные «срезы дорожной карты под стейкхолдера», которые модель делает бесплатными, разрушают ровно то свойство, которым карта держалась.
Вторая граница: ценность замысла прибор не измеряет
Встречная запись прикладывается к суждению и охраняет его честность: ожидание заявлено до и сохранено, отказ хранится наравне с запуском. Ценность самого замысла она не измеряет: второй независимой записи величины «этот замысел хорош» не существует, а согласие о ценности достигается переговорами и суждением, то есть лежит по человеческую сторону границы. Кто прочитает прибор как обещание метрики творчества, прочитает его неверно.
Раздел 6
Что уже происходит — и происходит не туда
Волна 2023–2026 годов пришла в продуктовую работу с наименее полезной стороны. Модель поставили писать спецификации, тикеты, дорожные карты — усиливать наполнение, единственную часть работы, которая и так перестала быть дефицитом. Быстрее всего расходится язык «ИИ-продакта», означающий на практике генерацию артефактов; следом — автоматическая приоритизация балльными методами, то есть ускоренное исполнение процедуры, у которой не было доказательной базы и в ручном исполнении7.
Совпадение показательное: мгновенно автоматизировалось наполнение (формулы, заполнение шаблонов, генерация обоснований), а не поддались переговоры, обязательство, понимание, отбор того, что заслуживает чужого внимания. Инструмент, усиливающий первое и не трогающий второе, увеличивает поток и оставляет узкое горлышко узким.
Раздел 7
Что мы предлагаем сделать — по адресатам
Шесть действий: каждое выполнимо адресатом без чьего-либо разрешения и без покупки чего бы то ни было.
- Школам и курсам продакт-менеджмента — разделить знание и конвенцию. Преподавать балльные приоритизации можно, но с указанием происхождения: корпоративный блог, год, отсутствие проверки. А в ядро программы положить единственный известный воспроизведённый результат профессии, ставку успеха идей в треть и ниже14,15,16, и его следствия: калибровку уверенности, цену непроверенного запуска, арифметику счёта побед. Правило первоисточника — в первую лекцию.
- Конференциям и изданиям — требовать знаменатель. У каждого числа на слайде должен быть первоисточник, у каждого кейса — знаменатель: сколько всего запусков стояло за показанным успехом и было ли ожидание заявлено до замера. Кейс без знаменателя — реклама, и площадка, принимающая его без вопроса, участвует в производстве тех самых чисел из раздела 2.
- Руководителям продуктовых организаций — закрепить встречную запись в регламенте. У каждой поставки — заявленное до релиза ожидание (какая величина, в какую сторону, к какому сроку) и измеренный исход; оба хранятся и не редактируются задним числом; отказ от идеи фиксируется наравне с запуском. Это не бюрократия, а перенос механизма эксперимента на решения, до которых сам эксперимент не дотягивается, и цена этого правила измерена на медицине: 57% против 8%21. Модель делает стоимость такого учёта пренебрежимой. Организация, не ведущая его и после этого, отвечает на вопрос о причине: дело было не в цене, а в нежелании видеть собственный счёт.
- Им же — сделать срез по авторам невозможным, а не запрещённым. Хранилище ожиданий и исходов устроено так, что счёт побед человека из него не строится: устройство, в отличие от политики, не переписывается. Иначе через квартал в хранилище будут лежать только безопасные гипотезы16,24.
- Авторам фреймворков и сертификаций — опубликовать основания. Для каждого преподаваемого метода — либо доказательная база, либо честная пометка «конвенция»: полезная, распространённая, непроверенная. Включить в программы устройство прибора (двойную запись ожидания и исхода) и его границу: что требует трафика, обратимости и метрики, а что не переносится на инструмент вовсе26. Сертификация, преподающая границы своих методов, впервые преподаёт не только методы.
- Профессиональным сообществам — начать измерять то, чему замеров найти не удалось. Три величины измеримы уже сегодня. Латентность решения: сколько живёт утверждение от появления до проверки или закрытия — возраст нерешённого не показал ни один из просмотренных инструментов, хотя каждый показывает возраст тикета. Доля поставок с заранее заявленным ожиданием, по сути охват профессии собственным прибором: опубликованного замера этой доли найти не удалось. И судьба отклонённого: не проследив, что стало с идеями, которым отказали, цену ложноотрицательных решений не измерить, и опубликованного о ней не нашлось, потому что профессия хоронит отказы без записи.
Раздел 8
Как проверить, что мы неправы
Обращение, которое нельзя опровергнуть, не стоит чтения. Каждое из трёх наблюдений опровергает сказанное целиком.
- Если там, где эксперимент давно дёшев и налажен, встречная запись «заявлено до / измерено после» так и не распространяется на решения за пределами трафика — значит, барьером было нежелание быть проверенным, и бесплатное описание не изменит ничего: организациям было удобно не записывать ожиданий, а дорогая запись была ширмой. Тогда раздел 4 неверен в корне.
- Если ставка успеха идей при заранее заявленных ожиданиях и честной метрике окажется систематически высокой (две трети и выше в новых доменах) — значит, результат прибора был свойством зрелых, вылизанных продуктов, но не продуктового суждения как такового, и центральный факт этого обращения окажется частным случаем, из которого ничего не следует.
- Если через десятилетие бэклоги не разбухнут и приёмная сторона не станет узким горлышком — значит, размножение дешёвого потока на продуктовую работу не переносится, и смена единицы, предложенная в разделе 4, решает несуществующую проблему.
По чему будет видно, что сдвиг состоялся
Ни одно из этих событий нельзя «объявить», все они — чужие тексты и чужие реестры.
- Сертификационная программа включает ставку успеха идей и правило первоисточника в обязательную часть.
- Регламент крупной продуктовой организации требует заявленного до релиза ожидания и хранит отказ наравне с запуском.
- Появляется первый воспроизводимый публичный замер латентности продуктового решения.
Любые два из трёх — и изложенное здесь перестало быть обращением и стало нормой.