Учёные ЛЭТИ создали метрику для оценки минимальной точности нейросетей с непредсказуемыми результатами

Доцент кафедры математического обеспечения ЭВМ СПбГЭТУ «ЛЭТИ» Антон Филатов и его коллеги разработали метрику для определения минимально допустимой точности нейросетей. Они обучили три модели около 30 раз на одном объёме данных и выявили закономерности.

Нейросеть, которая с вероятностью 90% ставит правильный диагноз, — это хорошо. Но что, если после переобучения на тех же данных её точность упадёт до 70%? А в следующем цикле — подскочит до 85%? Такая непредсказуемость — головная боль для разработчиков и риск для пользователей. Особенно в критических областях: медицине, банковском деле, промышленности.

Учёные Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» создали метрику для определения минимально допустимой точности нейросетевых моделей. Об этом сообщили ТАСС в пресс-службе вуза. Разработка уже в открытом доступе. Любой разработчик может проверить минимальную эффективность своего продукта.

Почему это важно? Проблема в том, что нейросети зачастую работают непредсказуемо. Как пояснил доцент кафедры математического обеспечения ЭВМ Антон Филатов, стандартные подходы математической статистики не способны достоверно описать минимальную точность нейросетей. Результаты многократного обучения дают непредсказуемые результаты. Модель, которая сегодня выдаёт отличные показатели, завтра после переобучения может «посыпаться».

Исследователи решили проблему эмпирически. Они обучили три активно применяемые нейросети около 30 раз на одном объёме данных и проанализировали закономерности. В итоге была разработана метрика, которая позволяет с высокой точностью определить минимальный порог точности обработки информации.

Подход актуален для всех сфер применения ИИ — от медицины, маркетинга и логистики до банковского дела и промышленности. Разработчики теперь могут заранее знать: ниже этой планки точность модели не упадёт. Даже после многократных переобучений.

Это особенно важно для критически важных областей. Например, для анализа КТ-снимков: модель не должна «ошибаться» в один день больше, чем в другой. Или для автопилотов: точность распознавания объектов должна быть стабильной. Новая метрика — шаг к тому, чтобы нейросети стали надёжным инструментом, а не «чёрным ящиком» с сюрпризами.