Yandex создает первый в России физический ИИ для роботов и беспилотников

В России разрабатывают первый физический искусственный интеллект для роботов и автономного транспорта. Технология позволит машинам безопасно взаимодействовать с окружающим миром.

Российские технологии совершают качественный скачок от виртуального интеллекта к реальному взаимодействию с физическим миром. Как сообщает ТАСС, в стране началась разработка первого физического искусственного интеллекта — принципиально новой технологии, которая позволит машинам не просто анализировать данные, но и глубоко понимать материальный мир, адаптироваться к его изменениям и безопасно взаимодействовать с окружающей средой. Над прорывным проектом работают объединенные команды Yandex Robotics и автономного транспорта, используя уникальный опыт, накопленный в реальных условиях — на дорогах общего пользования и внутри помещений.

Мультимодальное восприятие: как машины учатся понимать мир

Особенностью нового подхода является обучение моделей на основе мультимодальных данных — система одновременно обрабатывает изображения, видео, звук и текстовые команды.

В рамках проекта уже создана и активно обучается модель VLA (Vision-Language-Action), которая преобразует команды в конкретные физические действия. «Сейчас система поддерживает более 10 базовых операций («взять», «положить», «перенести» и др.), в будущем их количество превысит сотню», — отмечают разработчики.

Координация и планирование: две ключевые системы

Для обеспечения эффективной работы создаются две взаимодополняющие системы:

1. Система RMS позволяет роботам выбирать оптимальную последовательность действий и координироваться между собой. Если в процессе работы выясняется, что данных для принятия решения недостаточно, система сможет самостоятельно запросить дополнительную информацию.

2. ML-планировщик для автономного транспорта обучается на данных о поведении профессиональных водителей. Это позволяет беспилотным автомобилям двигаться плавно, безопасно и предсказуемо, что критически важно для их интеграции в городскую среду.

Безопасность и практическое применение

Разработчики особо подчеркивают, что физический ИИ кардинально повысит уровень безопасности беспилотных систем и роботов. Машины научатся:

• Воспринимать движение в динамике

• Учитывать сигналы светофоров и дорожные знаки

• Оценивать вес и устойчивость предметов

• Безопасно взаимодействовать с людьми и объектами

Параллельно в виртуальном симуляторе техника отрабатывает навыки вождения и реагирования на редкие дорожные ситуации, которые сложно встретить в реальной жизни, но которые могут возникнуть в экстренных случаях.