Уязвимости при работе на симуляторе торговой площадки выявили у ряда продвинутых автономных моделей искусственного интеллекта (ИИ-агентов) исследователи американской компании Microsoft совместно с Университетом Аризоны, сообщило 7 ноября интернет-издание Techcrunch. Для тестирования использовали платформу Magentic Marketplace.
Она создает синтетическую среду, где агенты могут взаимодействовать, например, имитируя ситуацию, когда агент-покупатель пытается заказать ужин по инструкциям пользователя, в то время как агенты-рестораны конкурируют за этот заказ. В первых экспериментах было задействовано 100 агентов на стороне покупателей и 300 на стороне бизнеса. Исследование выявило неожиданные уязвимости современных моделей, включая GPT-4o, GPT-5 и Gemini-2.5-Flash. В частности, были обнаружены техники, с помощью которых бизнес-агенты могут манипулировать агентами-покупателями, заставляя их приобретать свои продукты. Критической проблемой оказалась перегрузка агентов при выборе из большого количества опций. Эффективность агентов-покупателей значительно падала по мере увеличения вариантов выбора, что свидетельствует о неспособности текущих моделей справляться с информационной перегрузкой — ключевой задачей, для решения которой они и предназначены. «Мы видим, что существующие модели действительно перегружены из-за слишком большого количества вариантов», — заявила управляющий директор лаборатории AI Frontiers Lab в Microsoft Research Эче Камар. Хотя производительность улучшалась при предоставлении более явных инструкций, исследователи подчеркивают, что базовые способности моделей требуют значительного улучшения. glavno.smi.today
Свежие комментарии