Российские ученые создали ИИ, который проверяет другие нейросети на галлюцинации

Система оценивает достоверность ответов искусственного интеллекта через алгоритм маятника, выявляя ложные факты.

Российские исследователи нашли способ борьбы с одной из главных проблем современных нейросетей — так называемыми галлюцинациями, когда ИИ выдаёт правдоподобные, но абсолютно ложные сведения. Специалисты факультета «Информационные технологии» Московского государственного психолого-педагогического университета (МГППУ) разработали систему на основе искусственного интеллекта, способную оценивать достоверность ответов, сгенерированных другими нейросетями. Подробности сообщили «Газете.Ru» в вузе.

Несмотря на стремительный рост числа пользователей ИИ, проблема выдуманных фактов остаётся критической. Созданная программа подходит к её решению через оригинальный алгоритм маятника.

Сначала система берёт за исходную точку содержательный тезис — он может быть как верным, так и ошибочным. Затем интеллектуальный ассистент последовательно генерирует цепочку высказываний, в которой каждое новое утверждение строго опровергает предыдущее, сохраняя при этом предметную область и ключевые понятия. В итоге формируются два массива текстов: один поддерживает исходный тезис, другой — его отрицание. На завершающем этапе проводится анализ смысловой согласованности внутри каждого множества.

Авторы разработки исходят из предположения, что более согласованным окажется тот массив формулировок, который соответствует содержательно корректной позиции.

Особую ценность система представляет для гуманитарных дисциплин, где многие понятия размыты и зависят от контекста. В таких областях прямое доказательство истинности затруднено, и структурный анализ согласованных и противоречивых утверждений становится эффективным инструментом проверки достоверности.