Разработчики OpenAI поделились отчетом о работе

В воскресенье прошел матч команды людей против ботов OpenAI, в котором нейросеть дважды победила человеческий коллектив. Разработчики поделились возможностями своего проекта, а также рассказали о самых частых ошибках. Перевод основных моментов уже в нашем материале.

Прогнозирование

Одной из возможностей OpenAI Five является моментальная оценка шансов на победу после того или иного драфта. Выбор героя является весьма сложной частью Dota 2, так как отдельные герои взаимодействуют между собой по-разному.

Изображение показывает, как изменялись шансы на победу после появления того или иного героя.

В конце июня мы добавили отображение вероятности выигрыша в нашу нейросеть, чтобы видеть то, что прогнозирует OpenAI. Позже, когда мы рассматривали черновой вариант, стало понятно, что возможно использовать его для оценки вероятности победы при любом драфте: обратите внимание на промежуточные прогнозы на изображении выше. За одну неделю мы создали вариацию для каждого из 11 миллионов возможных матчей и написали алгоритм поиска, чтобы найти оптимальный пик OpenAI Five.

После первой игры драфт OpenAI Five предсказал вероятность выигрыша в 95%. Боты выиграли первую игру за 21 минуту и 37 секунд. Для второй игры драфт OpenAI предсказал вероятность выигрыша 76,2%. Ее команда искуственного интеллекта выиграла за 24 минуты и 53 секунды.

Драфт для третьей карты выбирали зрители. До начала матча нейросеть предсказала вероятность победы в размере 2,9%. Боты играли несмотря на плохие шансы, и в какой-то момент достигли 17% шанса одержать верх. Однако в конечном итоге они проиграли за 26 минут.

Обучение

Наш цикл разработки заключается в обучении каждой крупной версии ботов с нуля. Текущая нейросеть OpenAI содержит знания, которые были получены с 9 июня. Она имеет шесть системных обновлений, которые основаны на параметрах предыдущих версий.

Мы вложили много усилий в инструменты, которые позволяют сопоставлять старые параметры с новой сетевой архитектурой. 

Наблюдение за ботами

Мы можем получить представление о том, куда герой отправится в ближайшем будущем. В следующем видео выделенная область показывает, куда Sven Sven отправится в течение шести секунд.

Также мы можем прогнозировать количество ластхитов, добиваний и прочего.

Ошибки и нелогичное поведение являются неотъемлемой частью работы над нейросетью. Вот несколько примеров.

Что дальше?

Эти результаты дают уверенность в переходе к следующей ступени проекта. Мы хотим сыграть против команды профессионалов на The International в этом месяце. Детали матча будут объявлены сразу после того, как он будет подтвержден.

Нашли ошибку в материале? Выделите ее и нажмите Ctrl+Enter

Другие интересные новости

Комментарии

Правила
На данный момент в комментариях у нас действуют следующие правила: https://dota2.ru/forum/rules/ (срок бана выдаётся на усмотрение модератора).
возможно даже стримера на твиче
который будет раскастовываться на тинкерочке
Со всем набором возможностей, включая отдаление камеры
Прикиньте скоро роботы такие будут как т1000
Главное научить ботов зарабатывать и донатить Габенчику
блин будущее подъехало прикольно
а у тебя в гараже до сих пор москвич и плохие дороги
как узнал про моего личного раба-москвича?
я так и знал что мне габен подкручивает ботов в команду, они точно так же как в видео после того как сдохнут байбекаются
боты умеют в 1 страту, их через пару игр любой норм стак будет бахать
А они будут тянок, сестер и мам чпокать еще, потому что будут альфачами.
Исправьте профессионатов пожалуйста
К тому моменту как допилят сколько нибудь адекватный движок Дота3 успеет умреть
Никто из ботов никогда не заменит папаню
Надо бы Даньке нейросеть в голову вставить и изи ти9.
Когда уже ботов научат разбивать шмотки и фидить? Столько времени разрабатывают, но до настоящих людей им ещё далеко
Смотрим. После пика лича шанс около 50 процентов, чисто погрешность нейросети дает еще +0.2. И замечаем, что после пика шейкера шансы победы ботов возрастают на 13 процентов. Что там Величайший говорил про шейкера?
Ну вот и спалили читы у ботов.
Как минимум играют с отдалением камеры, как минимум скрипты на покупку/продажу итемов.
Если кто не понял - покупка и продажа итемов это большое количество действий.
Бот выполняет их мгновенно, без задержек со стороны клиента.
Вспомните как вы покупаете шмотки в доте, особенно перед смертью - можно купить шмотку, услышать звук покупки, увидеть её в инвентаре, а после смерти обнаружить что ничего у тебя не купилось - ты умер и отняло бабки =)
Хотя промежуток между покупкой и смертью был намного больше чем задержка до сервера.
Ну короче чуть меньше, чем держит в голову Денди
Скоро у кожаных уже не будет шансов:MrDestructoid:
Мне одному совершенно не интересно что там за ботов делают и как они играют да с кем?
Нет, просто тем кому действительно не интересно в новость даже не заходят.
Типичный противник доджа
74
Типичный противник доджа
Автор: MaestroEvil
Общие вопросы и обсуждения
Чекайте парни, чел создал тему где осуждает додж   https://dota2.ru/forum/threads/reddit-tema-pro-novyj-chit-na-dodzh-igr.1421801/   Его дб за ласт 3 месяца 41% вр и 1 кда в ранкеде   https://ru.dotabuff.com/players/34383115/matches?date=3month&lobby_type=ranked_matchmaking&enhance=overview...
Сколько читеров?
65
Сколько читеров?
Автор: Rivetloh
Общие вопросы и обсуждения
Собираем статистику. Как известно - додж игр есть в читах, да и сама функция - чит. Так как использует уязвимости (криворукость индусов из валв) доты для доджа игроков. Сам бегал на 3к аккаунте, так как...
Как вы играете в ролевой?
33
Как вы играете в ролевой?
Автор: point--
Рейтинговая система и статистика
Плюсы:   4/5 игр вы играете там где захотите Минусы:   Жетонщики, те челики которым нужно чтоб игра побыстрее закончилась, а как именно им плеваать. Он может быть и пуджом, и лесной легой и ораклом, только...
Куда пропал lightofheaven a.k.a. lost a.k.a. LOH?
47
Куда пропал lightofheaven a.k.a. lost a.k.a. LOH?
Автор: youngbidlo1337
Киберспорт: матчи, турниры, команды и игроки
Что-то давно его не видно ни на стримах ни в новостях ни на форуме д2ру. Окончательно поехал кукухой и ушел с радаров или что с ним случилось? Прикольно порой было послушать высеры от tea eye winner'а...
Fantasian - мобильная игра от создателя Final Fantasy
3
Fantasian - мобильная игра от создателя Final Fantasy
Автор: PokeMaster
Другие игры
  Хиронобу Сакагути, разработавший в 1987 году самую первую Final Fantasy, анонсировал мобильную ролевую игру Fantasian. Ее главным героем станет парень по имени Лео, потерявший память. В поисках воспоминаний...
За день
Всего мемов: 3
KDA: 34
103
За неделю
Всего мемов: 11
KDA: 71
776
За месяц
Всего мемов: 26
KDA: 52
1356
Mobsman
35