Ubisoft использует искусственный интеллект, чтобы научить автомобиль водить себя в гоночной игре

Усиленное обучение, методика обучения искусственного интеллекта, использующая награды для продвижения программных политик к целям, успешно применяется в областях от промышленная робототехника в обнаружение наркотиков, Но в то время как фирмы, включая OpenAI и Alphabet's DeepMind, исследовали его эффективность в таких видеоиграх, как Dota 2, Quake III Arena, и StarCraft 2Немногие на сегодняшний день изучали его использование в условиях, подобных тем, которые встречаются в игровой индустрии.

По-видимому, именно поэтому Ubisoft La Forge, одноименное пространство прототипирования для разработчиков игр Ubisoft, предложила в недавнем исследовании алгоритм, который способен обрабатывать дискретные непрерывные действия видеоигр «принципиальным» и предсказуемым образом. Они выпустили его на «коммерческую игру» (вероятно, Команда или Экипаж 2(хотя ни одно из них прямо не упомянуто), и сообщают, что он конкурентоспособен с самыми современными тестами.

«Приложения для подкрепления обучения в видеоиграх в последнее время стали свидетелями огромного прогресса, достигнутого исследовательским сообществом, когда агенты обучались играть в игры Atari на пикселях или конкурировать с лучшими игроками мира в сложных несовершенных информационных играх», — написали соавторы. бумага описание работы. «Эти системы сравнительно мало используются в индустрии видеоигр, и мы считаем, что основной причиной этого является отсутствие доступа. Действительно, действительно впечатляющие результаты … получены большими исследовательскими группами с вычислительными ресурсами, значительно превышающими те, которые обычно доступны в студиях видеоигр ».

Команда Ubisoft, таким образом, стремилась разработать метод обучения с подкреплением, который бы решал общие проблемы в разработке видеоигр. Они отмечают, что сбор образцов данных, как правило, происходит намного медленнее, и что существуют временные ограничения бюджета по производительности агентов во время выполнения.

Их решение основано на архитектуре Soft Actor-Critic, предложенной в начале прошлого года исследователями из Калифорнийского университета в Беркли, которая более эффективна с точки зрения выборки, чем традиционные алгоритмы обучения с подкреплением, и которая надежно учится обобщать в условиях, которых она не видела перед. Они расширяют его до гибридной настройки с непрерывными и дискретными действиями, ситуация, часто встречающаяся в видеоиграх (например, когда у игрока есть свобода выполнять действия, такие как перемещение и прыжок, каждый из которых связан с такими параметрами, как координаты цели и направление ).

Исследователи Ubisoft оценили свой алгоритм в трех средах, разработанных для сравнения систем обучения с подкреплением, включая простую платформерную игру и две футбольные игры. Они утверждают, что его производительность немного уступала ведущим в отрасли технологиям, которые они приписывают архитектурному причуду. Но они говорят, что в отдельном тесте они успешно использовали его для обучения игрового транспортного средства с двумя непрерывными действиями (ускорение и рулевое управление) и одним двоичным дискретным действием (ручной тормоз), цель которого — как можно быстрее следовать заданному пути. в средах агент не сталкивался во время обучения.

«Мы показали, что Hybrid SAC может быть успешно применен для обучения автомобиля выполнению задачи по высокоскоростному вождению в коммерческой видеоигре», — пишут исследователи, которые также отметили, что их подход может обеспечить широкий спектр потенциальных возможностей для агента. взаимодействовать со средой видеоигры, например, когда агент имеет те же входы, что и игрок (контроллер которого может быть оснащен аналоговым джойстиком, который обеспечивает непрерывные значения и кнопки, которые можно нажимать для выполнения отдельных действий посредством комбинаций). «(Это демонстрирует) практическую полезность такого алгоритма для индустрии видеоигр».



Источник: Ubisoft использует искусственный интеллект, чтобы научить автомобиль водить себя в гоночной игре


Похожие материалы по теме: Ubisoft использует искусственный интеллект, чтобы научить автомобиль водить себя в гоночной игре

Leave a comment