Deloitte поплатился из-за галлюцинаций ИИ. Почему это хорошо?

Когда крупная консалтинговая компания возвращает деньги заказчику — это само по себе редкость. Когда причиной становятся «галлюцинации» нейросети в официальном документе для ведомства, отвечающего за рынок труда и соцвыплаты, история превращается в холодный душ для всей индустрии. Речь об объемном отчёте, подготовленном компанией Deloitte для департамента занятости и трудовых отношений Австралии (DEWR), где были обнаружены выдуманные источники и даже фальшивые цитаты из решений Федерального суда. Первую версию DEWR опубликовал в июле, а исправленную — в октябре, уже с признанием использования Azure OpenAI GPT-4o в методологии. 

После первой публикации ошибки в отчете заметил исследователь Кристофер Радж из Сиднейского университета; именно его разбор подтолкнул к внутренней проверке. Deloitte заявила, что вернёт финальный платёж по контракту, общая стоимость которого составила 440 тыс. австралийских долларов ($290 тыс.). Точная сумма компенсации не называется, но по некоторым данным, она составляет около 100 тыс. австралийских долларов ($65 тыс.) или более 20% от общего чека. При этом DEWR настаивает, что ключевые выводы и рекомендации отчёта не изменились, а ошибочные ссылки носили вспомогательный характер. Тем не менее, инцидент ставит вопрос гораздо шире, открывая дискуссию о том, насколько вообще можно доверять рекомендациям и отчетам, созданным с помощью ИИ.

Ошибка не в модели, а в подходе 

Возможно, это кого-то удивит, но даже самая лучшая большая языковая модель (LLM) не знает фактов, она предсказывает правдоподобное продолжение. В отчёте для DEWR эта «правдоподобность» обернулась упомянутыми выше проблемами. После того, как скандал вышел в публичную плоскость, Deloitte признала ответственность (далеко не сразу), выплатила неустойку и исправила ошибки, убрав, более дюжины фиктивных ссылок и переписалв список литературы. Важный момент: в методологии подготовки документа было прямо указано, что ИИ применялся для устранения «пробелов в прослеживаемости и документации» — то есть на этапе, где требуется строгая трассировка источников, а не генерация текста.

Именно поэтому этот случай очень показателен в контексте управления рисками ИИ. Когда модель включают в ядро аналитического процесса, а не во вспомогательные операции, вероятность скрытых и очень убедительных ошибок растёт. Кристофер Радж и другие эксперты прямо связывают набор артефактов с галлюцинациями генеративной модели и отсутствием должной верификации.

Deloitte провела внутреннюю проверку и связала проблемы с «человеческим фактором». Это похоже на правду. Кто-то принял методологическое решение задействовать ИИ в чувствительном сегменте работы и не выстроил процесс проверки: независимый факт-чек, повторную реконструкцию цитат, проверку существования первоисточников. В результате ответственность размылась, но репутационные потери для компании остались. Инцидент подсветил ещё одну слабую зону — прозрачность. Первая версия отчёта не раскрывала факт использования генеративной модели, и лишь после шума в прессе и академическом сообществе, появились уточнения от компании о том, что в процессе работы над документов использовался Azure OpenAI GPT-4o.

Кстати, национальный британский регулятор FRC уже предупреждал о том, крупнейшие аудиторские фирмы используют ИИ для оценки рисков и обработки данных, но при этом слабо отслеживают влияние таких инструментов на качество аудита и не формируют KPI контроля. Случай в Австралии это пример того, как отсутствие зрелых процедур приводит к дорогим исправлениям, критике и снижению доверия к индустрии профессиональных услуг. 

Тем не менее, дело не столько в ИИ, сколько в самих людях и бизнес-модели компаний, которая допускает подобные инциденты. Генеративные модели полезны, если строго ограничены по роли: черновая редактура, резюмирование, подготовка вопросов и прочее в таком духе. Там, где начинается доказательная аналитика, нужны люди-эксперты. Требуется запрет на автогенерацию ссылок, двойная верификация цитат, независимая проверка существования источников, обязательная маркировка вклада ИИ в методологию. Иначе получится ровно то, что произошло с отчётом DEWR: качественный, в целом, текст скрывающий ошибки. И хорошо еще, что ошибки эти не привели к фатальным последствиям.

Парадоксально, но именно лидер по консалтингу в области ИИ (Deloitte активно продвигает идею использования искусственного интеллекта в различных сферах деятельности) оказался в ловушке переоценки технологии. С другой стороны, то что история произошла с такой известной и авторитетной компанией, это к лучшему. Теперь рынок обратит более пристальное внимание на условия договоров с консультантами и, очевидно, будет требовать обязательного раскрытия данных об использовании ИИ, прописывать четкие требования к верификации сведений, санкции за скрытое применение генеративных моделей.