Галлюцинации языковых моделей: факторы и причины ложных ответов

gpt-5-thinking-mini воздержалась от ответа в 52% случаев, дала точный ответ в 22% и ошиблась в 26%. У o4-mini эти показатели составили 1%, 24% и 75%.

Это результаты конкретной оценки, их нельзя переносить на все модели и сценарии. Но они хорошо показывают, насколько поведение системы зависит от того, чему её учат и что вознаграждают: точности, готовности признать неопределённость или самому факту ответа. Поэтому причины выдуманных фактов не сводятся к одной неисправности. Они распределены между устройством модели, обучающими данными, процедурами оценки и способом, которым система формирует конкретный ответ.

Архитектурные корни: предсказание следующего токена и confabulation

Языковая модель вычисляет вероятности продолжения текста. Получив запрос, она выбирает очередной токен с учётом предыдущих токенов и контекста, затем повторяет эту операцию, пока не сформирует ответ. Это не похоже на обращение к справочнику с готовой записью и ссылкой на источник. Текст может быть связным и убедительным, хотя фактической опоры у него нет.

Именно разрыв между языковой правдоподобностью и проверяемой истинностью лежит в основе термина confabulation, который использует Национальный институт стандартов и технологий США (NIST). Так называют генерацию ошибочного содержания, которое модель подаёт как ответ. Термин описывает сбой, а не намерение обмануть: у модели нет человеческого намерения лгать. Она продолжает последовательность в соответствии с усвоенными закономерностями, даже если данных для точного ответа недостаточно.

Отсюда и неприятное свойство галлюцинаций: форма ответа сама по себе не сообщает, насколько он надёжен. Модель способна с одинаковой гладкостью пересказать известный факт, перепутать две похожие сущности или сочинить правдоподобное название документа. Уверенный тон возникает в ходе генерации текста и не служит независимым подтверждением содержания.

Связный ответ показывает, что модель умеет продолжить текст. Сам по себе он не доказывает, что модель располагает верным фактом.

Масштабирование помогает на типичных запросах. Когда нужные закономерности часто встречаются в обучающих данных, большая модель обычно точнее улавливает контекст и связи между понятиями. Однако увеличение числа параметров и объёма корпуса не создаёт универсального механизма проверки. Модель может лучше воспроизводить знакомые закономерности, но это не превращает правдоподобие в гарантию истины.

Поэтому галлюцинации языковых моделей нельзя объяснить только нехваткой параметров. Масштаб влияет на способность системы обобщать, но автоматически не учит её останавливаться и признавать недостаток информации. Для этого нужны отдельные сигналы обучения и подходящая процедура ответа.

Пределы обучающих данных: почему редкие сведения особенно уязвимы

Частые и редкие факты находятся в разных условиях. Столицы крупных государств, распространённые научные понятия и известные исторические события многократно встречаются в текстах. У модели больше возможностей усвоить устойчивые связи между именами и контекстом. Точная дата основания небольшой компании, название улицы в малоизвестном городе или биографическая подробность о человеке могут появиться редко, неполно или в противоречивом окружении.

Если нужного факта нет в обучающих данных или он представлен недостаточно ясно, языковая модель не может надёжно восстановить его только по общей структуре языка. Она способна подобрать формулировку, которая подходит к вопросу и напоминает реальные сведения. Но правдоподобная догадка остаётся догадкой. Чем более произвольна деталь, тем меньше оснований ожидать, что её можно вывести из широких закономерностей.

Проблема усиливается, когда источники расходятся или сведения устарели. В корпусе могут соседствовать разные версии события, старые и новые названия, ошибочные пересказы и фрагменты без контекста. Модель усваивает статистические связи из всего этого материала, но не обязательно сохраняет историю происхождения каждого утверждения. Поэтому ей бывает трудно выбрать верную версию или понять, что вопрос требует актуальных данных.

Есть и языковой перекос. Обучающие корпуса неодинаково полно представляют разные языки, регионы и профессиональные области. Для хорошо описанной темы у системы больше устойчивых примеров, для узкой или слабо представленной опора тоньше. Это не означает, что каждый редкий запрос непременно вызовет ошибку. Это означает, что уверенность ответа нельзя принимать за меру полноты данных.

Отдельная трудность связана с новизной. Если событие произошло после подготовки корпуса, модель может не знать его деталей. Вопрос при этом часто звучит так, будто ответ должен быть доступен. Система продолжает привычный сценарий ответа, если её не научили распознавать границы актуальности и пользоваться внешним поиском. Подключение поиска может помочь, но не гарантирует точности: модель способна неверно извлечь сведения, смешать источники или сделать вывод, которого они не подтверждают.

Борьба с ложными ответами LLM начинается не с требования добавить в корпус как можно больше текста. Нужно учитывать качество и происхождение данных, их актуальность, охват предметных областей и противоречия между источниками. А там, где сведений не хватает, модели нужен корректный способ сообщить о неопределённости или запросить материал для проверки.

Процедуры оценки: почему модель может предпочесть догадку

В разборе OpenAI отдельно рассматриваются стимулы, создаваемые оцениванием. Метрика сама по себе не порождает ложный ответ в момент генерации. Но если процедура вознаграждает правильное попадание и почти не даёт преимуществ за обоснованный отказ, у модели появляется перекос в пользу ответа. В некоторых задачах «не знаю» считается промахом, тогда как уверенная догадка хотя бы сохраняет шанс на правильный результат.

Результаты SimpleQA из начала статьи показывают, как по-разному модели могут вести себя на одном бенчмарке. gpt-5-thinking-mini заметно чаще воздерживается и реже ошибается; o4-mini отвечает почти всегда, но в этой оценке допускает значительно больше ошибок. Эти числа описывают конкретные модели и конкретную процедуру тестирования. Их смысл не в том, чтобы объявить один стиль поведения универсально лучшим, а в том, чтобы увидеть последствия разных стимулов.

В реальном продукте отказ тоже не всегда оптимален. Если пользователь просит объяснить известный термин, постоянное уклонение делает систему бесполезной. Если запрос касается редкого факта, медицинского решения или версии документа, которой модель не располагает, гладкая догадка может навредить больше, чем честная оговорка. Калибровка должна учитывать последствия ошибки и возможность проверки, а не только число ответов.

Это непростая задача для оценки. Нужно различать случаи, где модель действительно знает ответ, и случаи, где она уверенно заполняет пробел. Нужно поощрять уместный отказ, не превращая его в универсальную стратегию. Важно проверять, насколько хорошо модель обозначает неопределённость, а не только совпадает ли её формулировка с эталонной строкой.

Если в оценке ценится сам факт ответа, модель получает стимул отвечать и тогда, когда надёжного основания нет.

Влияние метрик не ограничивается тестированием. Оценочные наборы и последующее обучение на предпочтениях помогают определить, какие ответы система будет считать желательными. Если уверенная и гладкая формулировка систематически воспринимается как более полезная, чем осторожная, модель может усвоить именно такой стиль. Пользователь увидит меньше пауз и оговорок, но не обязательно больше проверенных фактов.

Где возникают сбои: данные, обучение и генерация

Обзор в ACM Transactions on Information Systems рассматривает галлюцинации на разных этапах жизненного цикла модели. Такой разрез полезен: он показывает, почему одной настройки недостаточно. Источник ошибки может находиться в данных, процедуре обучения или способе, которым из распределения вероятностей выбирается ответ.

На уровне данных риск создают ошибки, устаревшие сведения, противоречия и неравномерный охват тем. Если в корпусе есть несколько версий утверждения, модель может усвоить их одновременно. Если редкая тема представлена обрывочно, системе труднее выстроить надёжную связь между фактами. Исправление отдельного ответа не обязательно устраняет причину, если похожие ошибки поддерживаются другими примерами корпуса.

На уровне обучения важен разрыв между задачей предсказать следующий токен и пользовательским ожиданием получить точный ответ. Модель может хорошо продолжать типичный текст, но не располагать отдельным основанием для проверки каждого утверждения. Влияют и способы выравнивания: какие ответы предпочтительнее, как оценивается отказ, что считается полезностью. Ошибка проявляется не только в фактическом содержании, но и в склонности подавать слабую догадку без оговорок.

На этапе генерации, или инференса, свою роль играют стратегии декодирования. Температура влияет на распределение вероятностей: при её повышении выбор обычно становится разнообразнее, при снижении чаще выбираются наиболее вероятные продолжения. Параметры вроде top-p ограничивают набор рассматриваемых вариантов. Эти настройки меняют поведение ответа, однако не превращают модель в систему проверки фактов. Более разнообразная генерация может увеличить число необычных продолжений; более консервативная сделает текст предсказуемее, но не исключит неверного утверждения, если оно кажется модели вероятным.

Меры из правого столбца не являются универсальным ремонтом. Поиск помогает, когда вопрос требует актуальных сведений и подключённые источники релевантны. Ограниченный формат упрощает последующую проверку, но не гарантирует правильности заполненных полей. Низкая температура делает ответ более предсказуемым, но не подменяет верификацию. Надёжность обычно складывается из нескольких слоёв: понятной области применения, доступа к источникам, контроля ответа и возможности отказаться от неподтверждённого вывода.

Внутренние триггеры: когда знакомая сущность маскирует неопределённость

Особенно коварны вопросы, где рядом стоят знакомое имя и редкая деталь. Модель может распознавать сущность: человека, организацию, город или продукт. Но распознавание имени ещё не означает, что ей известна точная дата, должность, адрес или связь с другой сущностью. Сигнал знакомой сущности может подавить отказ от ответа, даже если конкретного факта недостаточно.

Так возникают ошибки вокруг похожих названий и биографий. Вопрос о малоизвестной компании может подталкивать модель к ответу по аналогии с более известной организацией. Редкий топоним может быть перепутан с похожим названием. Несколько людей с одинаковыми фамилиями могут слиться в один связный, но неверный профиль. Модель не обязательно распознаёт подмену объекта: последовательность просто продолжается так, как кажется вероятным в данном контексте.

Исследование Anthropic показывает, что сигнал, связанный со знакомой сущностью, может подавлять отказ от ответа. Этот вывод относится к исследованной модели и условиям эксперимента; его нельзя автоматически переносить на все языковые модели. Он не объясняет универсальный механизм возникновения галлюцинаций, но указывает на важный риск: частичное знакомство с именем способно повлиять на решение отвечать, не гарантируя знания нужной детали.

Практический вывод прост, хотя реализовать его трудно: проверять нужно не только узнаваемость сущности, но и каждое конкретное утверждение о ней. Для продукта это значит, что запросы с точными датами, адресами, цитатами, версиями документов и идентификацией людей требуют особой осторожности. Модель может уверенно ответить на вопрос в целом и ошибиться именно в той детали, ради которой пользователь его задал.

Что снижает риск, но не отменяет его

У галлюцинаций нет одной причины и, соответственно, одной настройки, которая устраняет их целиком. Улучшение данных помогает справиться с пробелами и противоречиями, но не решает задачу оценки неопределённости. Обучение отказу снижает склонность угадывать, однако при чрезмерной осторожности система начнёт уклоняться и там, где ответ ей доступен. Внешний поиск даёт опору на источники, но требует контроля того, как модель их прочитала и пересказала.

Надёжное поведение строится как последовательность проверок. Сначала стоит понять, относится ли запрос к области, где модель обычно располагает достаточной опорой. Затем определить, нужны ли свежие сведения или точность до конкретной даты и имени. Если ответ должен основываться на документах, модели полезно предоставить сами документы и попросить отделять подтверждённые положения от выводов. Если источника нет, уверенная формулировка не должна автоматически считаться преимуществом.

Это меняет и привычный способ читать ответы. Уверенность, подробность и гладкий стиль не заменяют ссылку на первоисточник. Особенно внимательно стоит относиться к точным фактам, которые легко проверить, но трудно вывести из общего контекста: датам, именам, названиям, числам и дословным формулировкам. Для разработчика важнее другое: оценивать не только точность среди данных ответов, но и способность системы понять, когда достаточных оснований нет.

Галлюцинация возникает там, где правдоподобное продолжение принимают за знание. Архитектура создаёт такую возможность, данные определяют, насколько много у модели опоры, обучение задаёт отношение к неопределённости, а декодирование влияет на конкретный текст. Поэтому исправление требует смотреть на весь путь ответа, от корпуса и метрик до источников, доступных в момент запроса. Убедительность можно получить одной генерацией. Надёжность требует проверки.