Врет как сивый мерин: можно ли доверять ответам ИИ и как распознать ошибку

Кандидат технических наук, доцент Института кибербезопасности и цифровых технологий РТУ МИРЭА Игорь Котилевец в беседе с RT объяснил, почему нейросети способны уверенно выдавать несуществующие факты, ссылки на вымышленные статьи и имена людей. По его словам, такие галлюцинации связаны не со случайными сбоями, а с принципом работы современных языковых моделей.

Специалист отметил, что большие языковые модели не хранят знания как обычная база данных, где каждому факту соответствует проверенная запись. Во время обучения они анализируют огромные объемы текстов и формируют статистические закономерности, позволяющие определять, какие слова с наибольшей вероятностью должны следовать друг за другом.

Поэтому при получении запроса модель не извлекает готовый достоверный ответ из внутреннего архива. Она последовательно прогнозирует продолжение текста, ориентируясь на усвоенные языковые связи. При недостатке информации такой механизм может привести к появлению правдоподобных, но несуществующих сведений.

Вероятность ошибки, как пояснил Котилевец, способна увеличиваться по мере формирования длинного ответа. Чем больше последовательность генерируемого текста, тем выше вероятность отклонения от реальных данных и появления вымышленных деталей.

Полностью устранить проблему только за счет улучшения обучающих материалов невозможно. Даже качественные данные не превращают языковую модель в систему, которая хранит и проверяет каждый факт. Если по конкретной теме в доступном для обучения массиве недостаточно информации, а от модели ожидают содержательного ответа, она может самостоятельно восполнить пробелы конструкциями, которые выглядят реалистично.

Особенно сложными оказываются узкие и спорные темы. При наличии ограниченных либо противоречивых материалов нейросеть способна сформировать убедительное объяснение, которое при проверке окажется ошибочным. При этом модель не пытается сознательно вводить пользователя в заблуждение: она не обладает человеческим механизмом различения истины и вымысла, если оба варианта статистически похожи на характерный текст по заданной теме.

Еще одна проблема возникает, когда система пытается дать именно тот ответ, которого, как ей кажется, ожидает пользователь. В результате вместо признания недостатка информации модель может продолжить генерацию и представить предположение как достоверное утверждение.

По словам специалиста, склонность нейросетей подстраиваться под ожидания собеседника также формируется из особенностей человеческой коммуникации, отраженных в огромных массивах текстов, на которых обучаются модели.

Котилевец подчеркивает, что галлюцинации следует учитывать как фундаментальное свойство архитектуры языковых моделей, а не только как технический дефект. Поэтому информацию от нейросетей, особенно малоизвестные или важные факты, необходимо перепроверять по независимым источникам.