Чому LLM помиляються та що з цим робити

Кожен, хто користувався популярними ШІ-сервісами, як-от ChatGPT, Gemini, Grok тощо, напевно не раз стикався з проблемою «галюцинацій» LLM або навіть просто з помилками у відповідях. Спочатку здавалося, що це лише «хвороба росту», й нові оптимізації алгоритмів усунуть самі причини хибних відповідей. Час минає, з’являються нові ітерації мовних моделей, але на штучний інтелект і далі не можна покластися повною мірою. Тепер, схоже, зрозуміло чому.

Помилялися, помиляються й будуть помилятися

Ідея про те, що LLM мають природну межу розвитку та точності, здається очевидною. Дослідження в цьому напрямі проводилися не раз, але останнім часом, з огляду на високу актуальність питання, тему почали опрацьовувати особливо активно. Наукові та дослідницькі роботи в цьому напрямі з’являються регулярно. Одна з нових публікацій — «Про деякі базові обмеження мовних моделей на основі трансформерів» (On Some Basic Limitations of Transformer-Based Language Models), підготовлена двома дослідниками — Варіном Сікка (Стенфордський університет) та Вішалом Сікка (VianAI Systems), частково пояснює, чому LLM так часто помиляються й чи можна на це вплинути.

Погана новина полягає в тому, що, згідно з розрахунками авторів, «галюцинації» — це не просто випадкові збої, а наслідок архітектурних обмежень мовних моделей як таких. Дослідники детально проаналізували механізм self-attention («самоувага») — ключовий компонент трансформерів, який відповідає за врахування контексту. Його обчислювальна складність становить приблизно O(N²·d), де N — довжина послідовності токенів (елементів тексту), а d — розмір внутрішнього представлення. Саме цей поріг визначає максимальний обсяг обчислень, доступний моделі під час формування відповіді. Поки задача вкладається в цей «квадратичний бюджет», модель працює надійно. Щойно складність виходить за ці межі, вона припиняє виконувати точні обчислення й переходить до ймовірнісної апроксимації — фактично «вгадує» відповідь.

Автори демонструють це на прикладах, добре відомих у теорії алгоритмів. Перебір усіх можливих комбінацій зростає експоненційно (nᵏ), задача комівояжера призводить до факторіального зростання кількості варіантів, а множення матриць у базових алгоритмах має кубічну складність O(n³) (кількість операцій зростає пропорційно кубу розміру задачі).

Відповідно, якщо в запиті є підзадача, що потребує більшого обсягу обчислень, ніж модель здатна виконати в межах однієї відповіді, LLM у загальному випадку не може гарантувати коректний результат. Це обмеження поширюється й на перевірку рішень. Спроба вибудувати ланцюжок «агентів» (agentic AI — автономні системи на базі LLM), де одна модель розв’язує задачу, а інша перевіряє результат, не усуває проблему: у багатьох випадках сама процедура перевірки виявляється обчислювально складнішою, ніж отримання рішення.

Якщо ця теорія правильна, то на практиці це означає, що в багатьох прикладних задачах — від оптимізації маршрутів і розкладів до формальної перевірки програм, де використовуються задачі високої складності — LLM принципово не можуть гарантувати коректність. Навіть так звані «моделі міркування» (reasoning models), які генерують додаткові проміжні кроки, залишаються в межах того самого обчислювального обмеження й за зростання складності демонструють ефект «схлопування міркування» (reasoning collapse). У задачах, що потребують строгих обчислень, повної точної перевірки або гарантованої оптимальності, надійність результатів різко знижується.

Загальний висновок, який можна зробити на основі дослідження, невтішний — обмеження великих мовних моделей стосуються не лише окремих задач, а й самої природи їхнього «інтелекту».

Де ж та межа можливостей?

То що ж, виходить, усе втрачено й LLM — це чергова «бульбашка», роздута маркетологами? Зовсім ні. По-перше, стаття, про яку йдеться, — це теорія, але навіть якщо вона правильна, вона лише окреслює межі можливостей підходу. Великі мовні моделі можуть принести значну користь та добре працюють, наприклад, там, де результат можна подати у вигляді статистичних закономірностей тексту — їхня сила в інтерпретації, узагальненні та синтезі змісту. Вони добре справляються з формулюванням гіпотез, поясненням складних концепцій та навігацією в знаннях. Але там, де потрібна детермінована процедура з результатом, який можна перевірити, модель подекуди переходить від обчислення до ймовірнісної оцінки. Саме тут виникає розрив між «переконливою відповіддю» та справді коректним рішенням.

Важливо, що це обмеження не є фатальним для прикладних сценаріїв. Воно лише вказує на необхідність правильної архітектури. На практиці найбільшу цінність LLM дають у складі комплексних систем, де вони виступають як інтерфейс та/або координатор, а безпосередньо точні обчислення виконують спеціалізовані програми. У таких конфігураціях LLM формулює задачу, розбиває її на частини й контролює виконання етапів, але важливі розрахунки та фінальну перевірку виконують спеціалізовані модулі (або людина).

Отже, проблема не в самій моделі, а в помилкових та завищених очікуваннях. Спроба використовувати LLM як універсальний та автономний інструмент у складних задачах, що потребують високої точності, призводить до систематичних помилок. Натомість використання моделей як додаткового шару, як доповнення класичних обчислювальних систем, дає значно кращий результат. Таким чином, якщо йдеться про бізнес чи інші важливі задачі, великі мовні моделі варто розглядати як компонент складнішої архітектури й не очікувати від них «дива». За умов комплексного та зваженого підходу LLM перетворюються на справді потужний та корисний інструмент — головне, як завжди, вміти ним користуватися.