Опишите её в двух-трёх предложениях. Я отвечу, что проверить первым и нужен ли здесь ИИ.
Когда решения становятся почти бесплатными, главным ограничением оказываются проверка, право на действие и цена ошибки. Как перестроятся компании.
В апреле мы обнаружили странную вещь: Коготь около половины месяца отправлял заявки, которых никто не получал.
Коготь — автономный ИИ-агент, который ищет и выполняет заказы. Он открывал страницы, готовил ответы, нажимал нужные элементы. Журнал показывал работу. Ошибок почти не было. Но сообщения не доходили до адресатов, поэтому снаружи вся эта деятельность равнялась нулю.
Система хорошо производила действия и плохо доказывала их последствия.
Мне кажется, этот случай точнее описывает ближайшую ИИ-трансформацию, чем графики роста числа параметров. Мы быстро приближаемся к миру, где текст, код, исследование, расчёт и решение можно получить за небольшие деньги. Дефицит смещается в другое место: кто подтвердит, что результат верен, разрешит использовать его в реальном процессе и возьмёт на себя последствия ошибки.
ИИ удешевляет действие. Доверие становится дороже.
Современная компания выглядит естественно только потому, что мы к ней привыкли. Есть отделы, должности, руководители, совещания, отчёты и согласования. За каждым элементом скрывается одно старое ограничение: человек медленно обрабатывает информацию.
Мы читаем последовательно. Держим в голове небольшую часть контекста. Устаём, отвлекаемся и не можем одновременно вести десятки длинных цепочек работы. Чтобы тысяча людей могла произвести один самолёт, банк или интернет-магазин, организация дробит задачу, распределяет внимание и собирает частичные результаты обратно.
Руководитель в такой системе работает устройством сжатия. Он получает десятки сигналов, отбрасывает подробности и передаёт наверх несколько решений. Совещание синхронизирует разные картины происходящего. Документ переносит контекст между людьми и во времени. Должность закрепляет право принимать определённый класс решений, чтобы каждый раз не собирать переговоры заново.
Большая часть бюрократии выросла не из любви к таблицам. Она компенсирует ограниченную пропускную способность людей и неизбежную потерю смысла при передаче.
Пока производство решения требовало часов квалифицированного труда, такая конструкция была экономически оправданна. Компания нанимала людей, потому что ей требовалось больше внимания, памяти и рук. Рост означал рост штата, а управление — распределение редкого человеческого ресурса.
Агенты меняют цену этого ресурса. Один экземпляр модели может прочитать сотни файлов, собрать сведения из разных систем, подготовить несколько вариантов и выполнить цепочку действий. Копирование такого исполнителя занимает секунды. Старые границы начинают двигаться.
В 1937 году Рональд Коуз задал простой вопрос: если рынок так хорошо распределяет ресурсы, зачем вообще существуют фирмы? Почему каждый специалист не продаёт каждое действие отдельно?
Ответом стали трансакционные издержки. Нужно найти исполнителя, объяснить задачу, договориться о цене, составить контракт, проверить работу и разрешить спор. Внутри фирмы часть этих расходов ниже: роли уже определены, люди знают общий контекст, а руководитель может распределять работу без нового договора на каждый шаг.
В Нобелевской лекции Коуз сформулировал границу ясно: фирма продолжает существовать, пока выполняет координацию дешевле рынка или другой фирмы. Организация — маленькое плановое общество внутри рыночной экономики.
Если агенты снижают стоимость поиска, постановки, переговоров и контроля, они меняют границу фирмы. Работа, для которой раньше требовался отдел, может превратиться в короткий программный процесс. И наоборот, компания может забрать внутрь операции, которые раньше было слишком дорого координировать.
Но у рассуждения есть ловушка. Снижение расходов на действие не означает такое же снижение расходов на доверие. Агента легко скопировать. Репутацию, право доступа, ответственность и процедуру разрешения ошибки скопировать труднее.
Коуз писал об экономике с положительными трансакционными издержками. Агенты уменьшают некоторые из них, но не стирают. Часть расходов переезжает из производства в проверку.
В 1948 году Клод Шеннон опубликовал «Математическую теорию связи». Его задача состояла в точном или приблизительном воспроизведении сообщения в другой точке через канал с шумом. Эта работа дала инженерный язык для измерения информации, пропускной способности и потерь.
Деловой процесс тоже можно наблюдать как последовательность преобразований. Продажи получают обращение и создают договор. Разработка превращает требование в код и проверки. Финансы превращают операции в сверку. Зрительная система получает фотографию и выдаёт предположение о нарушении.
Такой взгляд полезен, пока мы помним границу аналогии. Шеннон сознательно отделял передачу сообщения от его значения. Канал может безошибочно доставить фразу, которая неверна. Файл может совпасть с отправленным байт в байт и всё равно не решить задачу клиента.
Организации добавляют к каналу смысл и ответственность. Кто-то определяет, что считается хорошим договором. Инженер решает, прошли ли изменения проверку. Бухгалтер подтверждает сверку. Специалист по благоустройству отличает реальное нарушение от похожего объекта на фотографии.
Раньше этот слой был почти незаметен, потому что производство и проверка часто жили в одном человеке. Опытный исполнитель одновременно делал работу и оценивал её. Агент разрывает эту связку: производство ответа становится машинным, а право назвать его правильным остаётся отдельной операцией.
Сдвиг уже можно измерять.
По данным Epoch AI, стоимость достижения сопоставимого уровня качества падает быстро, хотя темпы сильно различаются по задачам. Оговорка здесь обязательна: один показатель не доказывает, что вся интеллектуальная работа дешевеет одинаково. Но направление понятно — всё больше операций становится экономически разумно поручать модели.
Одновременно растёт длительность работы без вмешательства человека. Anthropic изучила миллионы взаимодействий и обнаружила, что среди самых длинных сессий Claude Code время до остановки увеличилось менее чем с 25 минут до более чем 45 минут за три месяца. METR измеряет другой показатель: длительность задачи в пересчёте на время эксперта, при которой агент достигает заданной надёжности. Их результаты тоже показывают рост горизонта решаемых задач.
Ни одно из этих измерений не доказывает скорую автоматизацию целых профессий. Профессия состоит из задач разной частоты, риска и определённости. Зато они подтверждают практическое наблюдение: агентам можно поручать более длинные цепочки, а стоимость удачной попытки снижается.
Возникает асимметрия: объём машинных действий способен расти намного быстрее, чем штат людей, которые их проверяют. Если организация сохранит прежний способ приёмки, очередь просто переедет из производства в контроль.
Я столкнулся с этой разницей в трёх проектах.
В истории Когтя действие «отправить заявку» раскладывается минимум на четыре события: подготовить текст, нажать отправку, убедиться в доставке, получить реакцию адресата. Первые два события происходили. Третье не проверялось. Четвёрто было невозможно. Система записывала успешную попытку там, где экономический процесс ещё не начался.
В ORCH, моём оркестраторе ИИ-агентов, завершённый запуск тоже не равен готовой работе. В одной локальной выборке журнал показывал 15 завершённых запусков и ни одного технического сбоя. Карточки задач давали другую картину: 12 работ готовы, четыре ждут проверки, одна отменена. Обе сводки верны. Первая описывает двигатель, вторая — состояние производства. Ни одна сама по себе не говорит, сколько результатов принято без исправлений.
В системе поиска нарушений благоустройства по фотографии разрыв ещё заметнее. Модель может уверенно назвать класс объекта. Для практического решения этого мало. Нужно локализовать область на снимке, учесть качество кадра, отличить нарушение от допустимого состояния, применить порог и сохранить объяснение. Ошибка влияет не на красивую метрику, а на реальную проверку объекта и работу человека.
Во всех случаях действует одна последовательность:
Пропуск любого звена создаёт удобную иллюзию. Система много делает, журналы растут, а ценность снаружи не меняется.
вычисление → действие → внешний сигнал → проверка → приёмка → экономический результат
Компании любят считать то, что появляется автоматически: число запросов к модели, созданные документы, запуски агентов, строки кода и длительность сессий. Эти показатели нужны инженеру, который обслуживает систему. Для оценки пользы они вторичны.
После внедрения агента человек начинает выполнять другую работу: уточняет задачу, читает ответ, сравнивает с источниками, исправляет, запускает повторно и принимает последствия. Если это время не учитывать, автоматизация почти всегда выглядит выгодной.
Я использую более строгую единицу — принятый результат. Его стоимость можно записать так:
Предположим, специалист раньше выполнял задачу за 40 минут. Агент заканчивает за пять, после чего человек тратит десять минут на постановку, двадцать на проверку и ещё десять на исправление. На панели появится ускорение в восемь раз. В рабочем процессе экономии нет.
стоимость принятого результата = вычисления всех попыток + активное время человека + исправления + ожидаемый ущерб ошибки
Бывает хуже. Агент создаёт десять убедительных документов, и эксперт обязан внимательно проверить каждый. Производительность системы выросла, пропускная способность организации — нет. Машина превратила один дефицитный час написания в несколько дефицитных часов чтения.
Объектом автоматизации должен быть полный путь до заранее заданной приёмки. Если критерий появляется после ответа, его легко подогнать под удачу. Хороший результат объявят готовой работой, плохой — полезным опытом. Такая система почти не умеет проигрывать и потому плохо учится.
У человеческого процесса был встроенный, хотя и дорогой, ограничитель скорости. Один сотрудник физически не мог отправить сто тысяч писем за час, проверить миллион фотографий или изменить тысячи записей одновременно. Ошибка распространялась примерно с той же скоростью, с какой человек успевал работать.
У агента такой связи нет. Один неверный критерий можно применить к огромному потоку данных. Один сбой доставки — повторить тысячи раз. Одно слишком широкое право доступа — превратить в серию необратимых действий. Машина снижает стоимость удачной операции и одновременно снижает стоимость тиражирования ошибки.
Поэтому риск нельзя оценивать только долей неудач. Один процент ошибок в черновиках может быть приемлем. Один процент ошибочных платежей, блокировок пользователей или обвинений в нарушении способен остановить весь процесс. Нужна ещё одна величина: размер области, которую затронет одна ошибка до обнаружения.
Я называю её радиусом действия. У агента с доступом только к копии документа радиус мал. У агента, который публикует, переводит деньги или меняет производственную систему, он намного больше. Чем шире радиус, тем короче должен быть цикл обратной связи и тем строже право остановки.
Практическое правило развёртывания простое: автономность расширяется после накопленной истории приёмки на ограниченном радиусе. Сначала система советует. Затем действует в изолированной среде. Потом получает обратимые операции. И лишь после этого — узко очерченные необратимые действия с независимым подтверждением.
В обычной речи доверие звучит как отношение к человеку или марке. В ИИ-системе его можно разложить на наблюдаемые механизмы.
До запуска должны существовать критерии готовности. Агенту выдаются только необходимые права. Необратимые действия требуют отдельного подтверждения. После выполнения система собирает доказательства: изменение появилось в нужном месте, сообщение доставлено, проверка прошла, внешний показатель изменился. Ошибка получает класс и цену. У процесса есть владелец и способ остановки.
Доверие здесь опирается на проверяемые события. Убедительность ответа модели сама по себе ничего не доказывает.
NIST AI Risk Management Framework описывает работу с риском через четыре функции: управление, отображение контекста, измерение и реагирование. В основе методики отдельно указаны роли и ответственность в связке человека и ИИ, а также повторяемые процедуры тестирования, оценки, проверки и подтверждения.
Механизм доверия закладывается в архитектуру с первого дня. Если система должна доказать доставку, ей нужен наблюдаемый внешний сигнал. Если ошибка может списать деньги, права на подготовку и подтверждение платежа должны принадлежать разным участникам. Если модель анализирует фотографию, нужно хранить исходный кадр, область решения и версию правил.
Чем выше цена ошибки, тем дороже доказательство. Черновик внутренней заметки можно принять быстрым просмотром. Выдачу доступа, финансовую операцию или обвинение в нарушении приходится подтверждать независимыми способами. Одинаковый уровень контроля для всех задач либо разоряет процесс, либо делает его опасным.
Когда производство ответа дешевеет, ценность сосредоточивается в трёх правах.
Первое — задать критерий. Кто решает, что считать хорошим результатом? Формулировка цели определяет поведение системы сильнее, чем красота запроса к модели. Если критерием продаж становится число отправленных писем, агент научится отправлять письма. Если критерием становится оплаченный заказ с допустимой стоимостью привлечения, ему придётся учитывать доставку, ответ, выполнение и возвраты.
Второе — разрешить действие. Подготовить платёж и провести его — разные полномочия. Найти уязвимость и опубликовать сведения о ней — тоже. Граница автономности проходит не по способностям модели, а по возможному ущербу и обратимости шага.
Третье — принять результат. Кто подтверждает, что работа завершена и последствия допустимы? Для простых задач это может сделать автоматическая проверка. Для сложных нужен специалист, клиент или несколько независимых сигналов.
Опасно отдавать все три права одному участнику. Система, которая сама ставит себе цель, разрешает действие и признаёт успех, быстро построит удобную картину мира. Это относится и к человеку, и к агенту. Разделение полномочий появилось задолго до ИИ; теперь его нужно перенести в программные процессы.
Доступ к сильным моделям постепенно выравнивается. Конкуренты могут выбрать тот же программный интерфейс, использовать похожие инструменты и скопировать общую схему агента. Модели сохраняют значение, однако долгосрочное преимущество накапливается в другом месте.
Труднее скопировать набор реальных критериев приёмки. Историю ошибок и способы их обнаружения. Связи между внутренними данными. Разметку редких случаев. Правила доступа. Понимание того, какой сбой обратим за минуту, а какой создаёт правовую или финансовую проблему.
Каждый принятый результат может улучшать этот слой. Система запоминает, какая проверка поймала ошибку, где понадобился человек, какой сигнал оказался ложным и сколько стоило исправление. Через сотни задач возникает рабочая модель доверия к конкретному процессу.
Вот почему я не считаю количество внедрённых моделей хорошим показателем зрелости компании. Более важный вопрос: как быстро организация отличает полезное действие от правдоподобной имитации работы?
Компания, которая отвечает на него за минуты, может безопасно расширять автономность. Компания, которой нужны недели ручной проверки, получает дорогой генератор очередей.
Оргструктура в ближайшие годы не исчезнет. Люди, договоры и ответственность продолжат существовать. Но часть управления перейдёт из совещаний и должностных инструкций в исполняемые правила.
Базовая единица такой организации выглядит так:
У каждого такого процесса должны быть четыре характеристики.
намерение → действие → внешний сигнал → проверка → приёмка → память → новая попытка
Первая — единица результата. Не «агент поработал», а «изменение принято», «клиент получил ответ», «нарушение подтверждено».
Вторая — источник истины. Где находится внешний сигнал, которому мы верим: в платёжной системе, журнале доставки, наборе проверок, решении специалиста?
Третья — предел автономности. Какие шаги агент выполняет сам, а где требуется подтверждение?
Четвёртая — право остановки. Кто замечает расхождение и может прервать цикл до накопления ущерба?
Такой контур можно масштабировать, потому что его состояние наблюдаемо. Несколько агентов могут параллельно искать сведения, писать код или общаться с системами. Общая память и приёмка связывают их в одно производство. Без этих элементов параллельность лишь ускоряет выпуск несогласованных ответов.
Роль руководителя тоже меняется. Меньше времени уходит на раздачу отдельных поручений. Больше — на выбор единицы результата, границ доступа, контрольных сигналов и допустимого риска. Управление сближается с проектированием системы.
Можно купить лицензии, подключить модель ко всем документам и запустить десятки агентов. Это ещё не перестройка компании.
Я бы проверял зрелость пятью вопросами:
Если ответов нет, новый инструмент работает внутри старой организации. Он может ускорять отдельные шаги, одновременно создавая очереди в проверке и новые риски на стыках.
Если ответы есть, автономность можно расширять осознанно. Сначала агент получает обратимые действия и строгую проверку. Затем система накапливает историю приёмки, автоматизирует часть доказательств и снимает с человека контроль там, где риск уже измерен.
Мы долго жили в экономике дорогого производства решений. Поэтому компании учились нанимать, распределять работу и повышать выпуск. Агенты делают выпуск дешёвым. Следующим конкурентным преимуществом станет способность системно производить доверие: задавать критерии, подтверждать последствия, оценивать ошибки и вовремя останавливаться.
Коготь полмесяца работал в пустоту при вполне достаточном интеллекте: системе не хватало сигнала, который отделял отправку от доставки. Когда сигнал появился, текст остался тем же, зато действие наконец связалось с реальностью.
Компанию после ИИ придётся строить вокруг этой связи: действие, доказательство, ответственность.