Яндекс и Сколтех создали крупнейший в мире датасет PackEat для умных касс

В России представили самый большой в мире открытый датасет PackEat из 100 тыс. фото фруктов и овощей для обучения систем компьютерного зрения умных касс.

Яндекс и Сколтех создали крупнейший в мире датасет PackEat для умных касс
Источник фото: ru.freepik.com

Российские учёные и инженеры совершили прорыв в области искусственного интеллекта для ритейла, представив миру PackEat — крупнейший в мире открытый датасет для обучения умных касс и систем автоматического учёта товаров. Этот уникальный проект, созданный совместными усилиями инженера Яндекса, исследователей Центра ИИ Сколтеха и специалистов ГУАП, призван кардинально изменить работу розничных магазинов.

В чём заключается его революционность? Датасет содержит колоссальный массив данных — более 100 тысяч фотографий 34 видов и 65 сортов фруктов и овощей. Все снимки сделаны не в стерильных лабораторных условиях, а в реальных торговых залах, что делает их бесценными для обучения нейросетей. Алгоритмы видят продукты такими, какими их встречает кассир: в полиэтиленовых пакетах, навалом, наложенными друг на друга на фоне сложного оформления прилавков. Около 9 тысяч изображений имеют разметку с указанием количества объектов и общего веса упаковки.

Нейросети, обученные на PackEat, научились с высокой точностью распознавать не только вид, но и сорт продукта, выделять отдельные экземпляры в куче и автоматически подсчитывать их количество. По данным исследований, точность таких алгоритмов может достигать 92%.