Почему одна нейросеть даёт разные результаты: роль профессиональных знаний, ограничения AI и четыре возможные причины ошибок с практическими проверками.

Одна нейросеть, разные результаты. Почему решает профессиональная экспертиза

У меня есть опыт работы с IT и цифровыми продуктами. Но видеомонтаж - не моя профессия. Когда я стал разбираться с AI-видеомонтажом, обнаружил, что не понимаю часть терминов, приёмов и последовательности действий, которыми пользуются профессиональные монтажёры.

И проблема возникала ещё до оценки результата нейросети. Мне не всегда хватало знаний, чтобы содержательно сформулировать задачу: что именно нужно сделать и по каким признакам потом проверить работу.

Здесь для меня проявилось различие, которое легко упустить. Одно дело - AI не способен выполнить операцию. Другое - я сам пока не могу точно описать требуемый результат или оценить его качество. Внешне обе ситуации могут выглядеть одинаково: нужного результата нет.

Я не проводил эксперимент, в котором профессиональный монтажёр и я давали одной модели одинаковую задачу. Поэтому не могу утверждать, что эксперт обязательно получил бы лучший ролик. Но этот опыт заставил меня задуматься: если нейросеть доступна каждому, в чём остаётся ценность профессионального специалиста?

Я попробовал ответить на этот вопрос через устройство профессиональной работы, исследования использования AI и простой способ проверки причин неудачного результата.

Профессионал знает не только правильные слова

Сначала кажется, что всё упирается в терминологию. Монтажёр знает названия операций, значит, способен точнее написать запрос. А я часть профессионального языка ещё не освоил.

Но слова - только видимая часть экспертизы. Важнее, что стоит за ними. Похожий принцип я разбирал в статье «Сначала цель, потом инструмент»: сначала понять результат и критерии, затем выбирать способ работы.

Представление о результате. Специалисту проще определить, что считать приемлемой работой: не просто «сделай хорошо», а какие требования должны быть соблюдены и по каким признакам это проверять.

Понимание процесса. Он знает, какие этапы зависят друг от друга, где нужна промежуточная проверка и какой пропуск может повлиять на финальный результат.

Опыт распознавания ошибок. Вместо общей реакции «что-то не так» он может искать конкретное несоответствие требованиям.

В моей ситуации с видеомонтажом не хватало именно профессионального языка и понимания приёмов работы. Отсюда возникает гипотеза: предметная экспертиза влияет не только на то, как человек спрашивает AI, но и на то, как он принимает или отклоняет полученный результат.

При этом критерии качества не обязательно должны существовать только в голове специалиста. Часть знаний можно передать через техническое задание, профессиональные примеры, инструкцию или внешнюю проверку. Поэтому вопрос сложнее, чем «кто лучше пишет промпты».

Но профессиональные знания не снимают ограничений AI

Даже хорошо сформулированная задача не гарантирует правильного ответа. Важно понять, что конкретная модель вообще умеет делать надёжно.

Это видно в опубликованном в Organization Science исследовании Navigating the Jagged Technological Frontier, где участвовали 758 консультантов Boston Consulting Group. Исследователи сравнивали выполнение профессиональных задач с GPT-4 и без него.

На задачах, хорошо соответствовавших возможностям модели, участники с AI выполняли больше работы и справлялись быстрее. Но на одной сложной управленческой задаче, выходившей за границу возможностей модели в условиях эксперимента, доля правильных ответов в среднем по двум группам с AI оказалась на 19 процентных пунктов ниже, чем в группе без AI.

Значит, даже для профессиональной работы нельзя считать AI универсальным усилителем. Исследователи описывают неровную границу возможностей: инструмент может уверенно справляться с одними задачами и ошибаться на других, на первый взгляд похожих.

Это исследование не про видеомонтаж и не про сравнение эксперта с новичком. Но оно показывает альтернативное объяснение плохого результата: иногда дело не в постановке задачи пользователем, а в возможностях самой модели. Смежный вопрос о проверяемости источников и границах AI я рассматривал в разборе корпоративного AI-ассистента.

А если новичок получает от AI больше пользы?

Есть и другой неудобный для простого вывода факт. В некоторых условиях AI сильнее помогает именно менее опытным сотрудникам.

Эрик Бриньолфссон, Даниэль Ли и Линдси Реймонд исследовали внедрение AI-помощника в одной компании, занимающейся клиентской поддержкой. Их работа Generative AI at Work, опубликованная в The Quarterly Journal of Economics, охватила данные 5 172 сотрудников.

В среднем производительность, измеренная количеством успешно решённых обращений в час, выросла на 15%. Наибольший прирост получили менее опытные и менее квалифицированные сотрудники. Самые опытные сотрудники получили лишь небольшой прирост скорости, а качество их работы по использованным в исследовании показателям немного снизилось.

Одна из интерпретаций исследователей состоит в том, что система помогала передавать новичкам практики более успешных коллег. Если часть профессиональных знаний встроена в инструмент, человек может пользоваться ими, не обладая таким же личным опытом.

Но здесь нельзя смешивать относительный прирост и абсолютный результат. Новичок может улучшить собственные показатели сильнее специалиста, но это ещё не значит, что его итоговая работа стала лучше работы специалиста.

Исследование посвящено службе поддержки. Распространять его цифры на видеомонтаж или любую другую профессию было бы ошибкой.

Для моего вопроса важнее другое: профессиональная экспертиза может помогать проверять AI, но сам AI иногда помогает компенсировать её недостаток. Это не взаимоисключающие наблюдения.

Четыре причины, по которым результат может не устраивать

Когда AI выдаёт не то, что нужно, легко решить, что виноват либо инструмент, либо плохой запрос. Но между этими объяснениями есть ещё несколько вариантов.

Для себя я разделяю их на четыре группы:

1. Не хватает знаний о предметной области. Я не понимаю всех требований к работе и не могу уверенно отличить приемлемый результат от ошибочного.

2. Не освоен способ работы с AI. Цель понятна, но я не использую нужные возможности инструмента, последовательность действий или промежуточный контроль.

3. Не подходят исходные материалы и обратная связь. В задаче не хватает данных, референсов, согласованных требований или понятных замечаний к результату.

4. Есть ограничение модели или самой задачи. Выбранная система не выполняет нужную операцию достаточно надёжно, даже когда требования заданы корректно.

Несколько причин могут действовать одновременно. И сама эта классификация - моя рабочая модель, а не научно валидированный диагностический тест. Она помогает выбрать следующую проверку, но не устанавливает причину автоматически.

Как проверить свою гипотезу, а не бесконечно переписывать запрос

Я бы начал не с нового промпта, а с определения результата. Что именно должно быть сделано и по каким критериям я пойму, что работа подходит?

Если сформулировать критерии не получается, это уже полезный сигнал: возможно, мне нужен профессиональный ориентир, а не ещё одна генерация.

Дальше стоит выбрать предполагаемую причину и по возможности изменить одно существенное условие, сохранив остальные. Иначе по одному улучшению будет трудно понять, что именно помогло.

Допустим, я не умею определить, соответствует ли итоговый материал профессиональным требованиям. В таком случае смена нейросети сама по себе не решает вопрос оценки. Сначала нужны критерии: от специалиста, из образца или из надёжной инструкции. Это пример применения схемы, а не описание нового случая из моего опыта.

Если критерии уже есть, можно проверять инструмент и исходные материалы. Если результаты остаются нестабильными, стоит изучить ограничения модели. Одна удачная или неудачная попытка не доказывает причину: для уверенного сравнения нужны сопоставимые условия и, по возможности, повторения.

Эта схема не предназначена для ответа на вопрос, кто объективно сильнее - эксперт или новичок. Для такого утверждения потребовался бы отдельный сравнительный эксперимент с одинаковыми задачами и независимой оценкой качества.

Что в итоге остаётся ценным в работе специалиста

Я начинал с вопроса, почему мне трудно поставить часть задач по AI-видеомонтажу, хотя опыт в IT у меня есть. Ответ оказался не в том, что специалист непременно лучше управляет любой нейросетью.

Профессиональные знания могут дать человеку критерии результата, понимание последовательности действий, способность заметить существенную ошибку и основания принять решение о качестве работы. В одних случаях AI помогает передать часть этих знаний новичку. В других сама модель становится ограничением, с которым сталкиваются и опытные люди.

Поэтому для меня более полезен не спор о том, кого заменит нейросеть, а проверка конкретного вопроса: я способен объяснить, какой результат мне нужен, и понять, действительно ли он получен?

Если нет - возможно, сначала нужно разобраться в профессиональных критериях или обратиться к специалисту за оценкой. Если да - можно уже предметно проверять инструмент, исходные данные и границы модели.

Доступ к AI делает инструмент общим. Но он сам по себе не делает одинаковыми знания о задаче, требования к качеству и ответственность за принятое решение. Именно здесь профессиональная экспертиза может оказаться решающей.