Разработчики OpenAI поделились отчетом о работе

В воскресенье прошел матч команды людей против ботов OpenAI, в котором нейросеть дважды победила человеческий коллектив. Разработчики поделились возможностями своего проекта, а также рассказали о самых частых ошибках. Перевод основных моментов уже в нашем материале.

Прогнозирование

Одной из возможностей OpenAI Five является моментальная оценка шансов на победу после того или иного драфта. Выбор героя является весьма сложной частью Dota 2, так как отдельные герои взаимодействуют между собой по-разному.

Изображение показывает, как изменялись шансы на победу после появления того или иного героя.

В конце июня мы добавили отображение вероятности выигрыша в нашу нейросеть, чтобы видеть то, что прогнозирует OpenAI. Позже, когда мы рассматривали черновой вариант, стало понятно, что возможно использовать его для оценки вероятности победы при любом драфте: обратите внимание на промежуточные прогнозы на изображении выше. За одну неделю мы создали вариацию для каждого из 11 миллионов возможных матчей и написали алгоритм поиска, чтобы найти оптимальный пик OpenAI Five.

После первой игры драфт OpenAI Five предсказал вероятность выигрыша в 95%. Боты выиграли первую игру за 21 минуту и 37 секунд. Для второй игры драфт OpenAI предсказал вероятность выигрыша 76,2%. Ее команда искуственного интеллекта выиграла за 24 минуты и 53 секунды.

Драфт для третьей карты выбирали зрители. До начала матча нейросеть предсказала вероятность победы в размере 2,9%. Боты играли несмотря на плохие шансы, и в какой-то момент достигли 17% шанса одержать верх. Однако в конечном итоге они проиграли за 26 минут.

Обучение

Наш цикл разработки заключается в обучении каждой крупной версии ботов с нуля. Текущая нейросеть OpenAI содержит знания, которые были получены с 9 июня. Она имеет шесть системных обновлений, которые основаны на параметрах предыдущих версий.

Мы вложили много усилий в инструменты, которые позволяют сопоставлять старые параметры с новой сетевой архитектурой. 

Наблюдение за ботами

Мы можем получить представление о том, куда герой отправится в ближайшем будущем. В следующем видео выделенная область показывает, куда Sven Sven отправится в течение шести секунд.

Также мы можем прогнозировать количество ластхитов, добиваний и прочего.

Ошибки и нелогичное поведение являются неотъемлемой частью работы над нейросетью. Вот несколько примеров.

Что дальше?

Эти результаты дают уверенность в переходе к следующей ступени проекта. Мы хотим сыграть против команды профессионалов на The International в этом месяце. Детали матча будут объявлены сразу после того, как он будет подтвержден.

Читайте также

В комментариях под материалами на сайте действуют все правила портала, с которыми можно ознакомиться на специальной странице — https://dota2.ru/forum/rules/. Помимо этого, в комментариях к новостям существуют дополнительные ограничения:

  • Запрещены прямые и косвенные оскорбления авторов материалов, как и любые комментарии, не относящиеся к сути новости;
  • Указание на ошибки в материале происходит с помощью специального функционала. Комментарии с таким содержанием будут удалены;
  • Критика — это нормально, но выражать ее нужно без злоупотреблений. Ваши слишком грубые комментарии про личностей, представленных в новостях, могут быть удалены.
Аватар пользователя
Аватар пользователя
Аватар пользователя

который будет раскастовываться на тинкерочке

Аватар пользователя
Аватар пользователя
Аватар пользователя

Со всем набором возможностей, включая отдаление камеры :BrokeBack:

Аватар пользователя
Аватар пользователя

Прикиньте скоро роботы такие будут как т1000

Аватар пользователя

Надо бы Даньке нейросеть в голову вставить и изи ти9.

Аватар пользователя

Никто из ботов никогда не заменит папаню:roflanLico:

Аватар пользователя

Когда уже ботов научат разбивать шмотки и фидить? Столько времени разрабатывают, но до настоящих людей им ещё далеко

Аватар пользователя

Смотрим. После пика лича шанс около 50 процентов, чисто погрешность нейросети дает еще +0.2. И замечаем, что после пика шейкера шансы победы ботов возрастают на 13 процентов. Что там Величайший говорил про шейкера?

Аватар пользователя
Аватар пользователя

Ну вот и спалили читы у ботов.
Как минимум играют с отдалением камеры, как минимум скрипты на покупку/продажу итемов.
Если кто не понял - покупка и продажа итемов это большое количество действий.
Бот выполняет их мгновенно, без задержек со стороны клиента.
Вспомните как вы покупаете шмотки в доте, особенно перед смертью - можно купить шмотку, услышать звук покупки, увидеть её в инвентаре, а после смерти обнаружить что ничего у тебя не купилось - ты умер и отняло бабки =)
Хотя промежуток между покупкой и смертью был намного больше чем задержка до сервера.

Аватар пользователя

К тому моменту как допилят сколько нибудь адекватный движок Дота3 успеет умреть

Аватар пользователя
Аватар пользователя

боты умеют в 1 страту, их через пару игр любой норм стак будет бахать

Аватар пользователя
Аватар пользователя
Аватар пользователя

я так и знал что мне габен подкручивает ботов в команду, они точно так же как в видео после того как сдохнут байбекаются :roflanLico:

Аватар пользователя
Аватар пользователя

а у тебя в гараже до сих пор москвич и плохие дороги

Аватар пользователя

Главное научить ботов зарабатывать и донатить Габенчику :Gabe:

Аватар пользователя
Аватар пользователя
Аватар пользователя
Аватар пользователя
Аватар пользователя

Мне одному совершенно не интересно что там за ботов делают и как они играют да с кем?

Комментарии
Форум