5 ноября Visa объявила о запуске Visa Agentic Commerce Benchmark — теста для оценки ИИ-моделей в реалистичных сценариях покупок. Пройти тест может любой желающий.
В первом раунде 22 модели из 12 лабораторий выполнили 15 заданий, в том числе выбрали телевизор, ноутбук и прибор для ухода за собой. Модели должны были выяснить потребности покупателя в разговоре и отказаться от покупки, если подходящего товара нет.
Общий процент успешно выполненных заданий составил 57,2%. Лучшие модели справились с 82,2% попыток, худшие — с 28,9%. Пять моделей, лучше других выявлявших скрытые требования покупателей, в среднем проходили тест в 70,2% случаев.
Каждую модель проверяли по три раза в каждом сценарии. Все три попытки оказывались успешными лишь в 34,2% случаев. При этом 54% неудачных попыток всё равно завершились покупкой: модель либо предложила товар, который не соответствовал выявленным требованиям, либо не выяснила их все.
Visa заявила, что планирует добавить в бенчмарк новые сценарии и категории товаров, а также распространить тестирование на оформление заказа и оплату. По словам глобального руководителя Visa по развитию Рубаила Бирвадкера, доверие важно для развития агентской коммерции.
Перевод с английского выполнен с помощью искусственного интеллекта. Источник: Компания Visa из США
