Стартап в США бросил вызов нестабильности в работе ИИ

Проблему нестабильности в работе нейростей (больших языковых моделей, LLM), которые также называют искусственным интеллектом (ИИ), намерен решить американский стартап Thinking Machines Lab, сообщил исследователь компании Хорас Хэ в статье, опубликованной 10 сентября на сайте предприятия. Материал вышел пол заголовком «Преодоление нестабильности в ответах больших языковых моделей».

Автор указывает на то, что нейросети при одинаковых вопросах дают разные ответы. Эту детерминированность многие воспринимают как неизбежное свойство LLM. «Мы отвергаем этот пораженческий настрой. Приложив немного усилий, мы можем понять коренные причины нашей недетерминированности и даже решить их!» — пишет Хэ. По его словам, найдена причина, почему ответы нейросетей отличаются. Главным виновником нестабильности назвали «размер пакета» обрабатываемых запросов. Когда пользователь отправляет запрос к серверу, он обрабатывается не отдельно. Сервер объединяет его в пакет с другими запросами, чтобы обработать всё быстрее и эффективнее. Размер пакета постоянно меняется, и внутренние операции в модели чувствительны к этому показателю. Так как нагрузка на сервер непредсказуема, размер пакета и, следовательно, результат запроса становятся недетерминированными. «Если вы соединяете некоторое свойство, к которому ядро не является инвариантным (т.е. размер пакета), с недетерминированностью этого свойства (т.е. нагрузка на сервер), вы получаете недетерминированную систему», — говорится в статье. Хэ уверен, что недетерминированность LLM — это не случайность, а системная проблема, вызванная оптимизацией производительности. Ее можно решить, пожертвовав частью скорости ради точности. Чтобы сделать выводы моделей стабильными, нужно сделать так, чтобы внутренние вычисления не зависели от размера партии. Несмотря на простое объяснение, это сложная инженерная задача, требующая переписывания ключевых компонентов нейросетей. Напомним, в июне генедиректор Google Сундар Пичаи предложил вместо термина ИИ использовать «„искусственный зазубренный интеллект“. Таким образом он подчеркнул нестабильность работы нейросетей: иногда они выдают впечатляющие результаты, а иногда оказываются беспомощными. glavno.smi.today