Что мы можем извлечь из игры Open AI 5

На сайте dotahaven была опубликована аналитика, основаная на прошедшем противостоянии OpenAI и OG. Перевод этой статьи представлен ниже.

Имитирование поведения ботов является ошибочной концепцией, ведь ИИ видит игру и размышляет о ней по-другому и работает по другим правилам, не как человек в обычной игре. Тем не менее, это не значит, что мы не можем что-то почерпнуть из этого, ведь мы тоже умны!

В прошлом бот успешно выигрывал противостояние 1 на 1 на средней линии. Для этого он использовал Mango и Healing Salve гораздо чаще человека, что позволяло ему бесконечно наносить урон противнику, добывать золото и набирать стремительное преимущество, выигрывая линию (ИИ выбирал приоритетными Mango и Healing Salve не только над другими расходными материалами, но и над такими предметами как Wraith Band, Boots и др.).

Эта стратегия оптимальна для противостояния 1x1 на Shadow Fiend Shadow Fiend на средней линии, но она не берет во внимание тот факт, что после стадии игры на линии вам будут необходимы реальные предметы для того, чтобы выиграть игру. Некоторые игроки среднего уровня применяют эти знания в своей игре, но так и не могут довести дело до конца. Mango и Healing Salve являются отличными инструментами давления на вашего противника и выигрыша линии. Но переусердствовать до такой степени, когда это помешает вовремя собрать нужный вам предмет, не стоит.

Open AI 5 немного отличается от бота 1 на 1. Боты получают краткосрочные вознаграждения, которые помогают им в достижении долгосрочной цели (победы). Рассмотрим их более подробно для лучшего понимания поведения бота.

1. Мгновенные выкупы

Многие люди заметили, что боты выкупаются мгновенно, даже в начале игры, когда ни одна цель не находится под угрозой. Это приводит к предположениям, что немедленный выкуп может быть выгоден по нескольким причинам:

  • вы не потеряете много золота в начале игры;
  • это помогает вам мгновенно толкать линии и захватывать контроль над картой;
  • вы эффективно обмениваете очки опыта на золото.

Хотя у этих причин есть доля правды, причина, по которой боты делают это, скорее всего, не настолько глубока — герой получает вознаграждение, когда получает золото, но не теряет вознаграждение, когда теряет золото (например, при покупке предмета).

Скорее всего, это означает, что он не теряет вознаграждение при выкупе, но все же получает очки за небольшую добычу золота за то время, когда он снова жив после выкупа. Это действие выглядит крайне положительным с точки зрения очков, так как у бота нет долгосрочной стратегии для победы в игре. Факт, что такие выкупы наносят ущерб его общей ценности и шансу на победу в игре, вероятно, игнорируется.

УРОК 1: Несмотря на то, что боты выкупаются мгновенно почти всегда, вам, вероятно, не следует брать из них пример из-за различных правил, по которым работают боты.

2. Равное распределение добычи золота

Другое важное заключение, которое сделали многие, основывается на том, что боты отдают предпочтение равномерному распределению добычи золота, а не стандартному, где предусмотрена первая и вторая позиция для его чрезмерного получения, и пятая позиция с недостаточным количеством валюты. Третья и четвертая позиция оценивается в зависимости от конкретных героев, которые колеблются между заработком и созданием пространства для действий.

Данный факт, несомненно, не является верным примером для наследования. Важно помнить, что для человека конечной целью является разрушение главной крепости, прежде чем враги разрушат ее. Иметь счет 0-10-0 и выиграть 10 игр подряд намного лучше, чем иметь счет 10-0-10 и проигрывать те же 10 игр.

Для ботов эта позиция не верна:

  • Во-первых, они оценивают каждую награду, которую им дают за продолжительность игры (добивания крипов, золото и опыт, убийства, смерти и т. д.).
  • Во-вторых, ни один бот не считает себя героем поддержки или кэрри. Все они имеют равную награду за добивания, золото и опыт. Посредством добычи золота (даже за героя поддержки) вы вносите свой вклад в общий счет команды (понятие «командный дух» показывает, что боты оценивают общий результат команды больше, чем их индивидуальный счет). Что является еще более важным, так это то, что у бота нет большого временного горизонта для принятия решений. Продолжительность их стратегий составляют в основном до 5 минут вперед.

Стратегия создания пространства для действий для героев поддержки возникла из простой концепции. Согласно ей у некоторых героев вклад в игру напрямую зависит от их уровня и заработка золота, в то время как другие герои могут вносить ту же пользу независимо от наличия предметов. Например, Oracle Oracle, жертвуя добычей золота на первые 30 минут игры, позволит союзной Spectre Spectre уничтожить вражескую команду за последние 10 минут игры. Для людей этот план имеет смысл, но не для ботов.

Они не способны спланировать последние 10 минут игры с самого ее начала, поэтому суть стратегии «поддержка/кэрри» для них потеряна. Боты видят смысл в получении наград просто за добычу золота всеми героями сразу по мере своих возможностей.

УРОК 2: Это не означает, что нет никакой пользы от героев поддержки с большим количеством золота. Такие команды как  Fnatic,  Team Secret, старый состав  EG с  Zai и даже TI3  Alliance показали, что саппорты с большим количеством предметов дают большее преимущество в сражениях. Вопрос состоит в том, чем вы жертвуете, чтобы получить это золото. Если жертвовать контролем над картой и добычей золота вашими союзными героями, которым будет необходимо приобрести предметы для более поздней игры, то слишком жадная игра за такого героя поддержки, в конечном счете, даст отрицательный результат. Убивать нейтральных крипов в лесу за Crystal Maiden Crystal Maiden правым щелчком мыши, вероятно, не стоит, ведь, возможно, другие действия принесут больше пользы в долгосрочной перспективе.

3. Командные драки — лучшая стратегия?

Тактика ботов довольно проста, они:

  1. Пытаются выиграть линии.
  2. Добывают золото на всех героях.
  3. Группируются впятером, принимают выгодные бои и цели.

Для этого есть три причины:

  • Во-первых, у них есть опыт длиною в 10 000 лет игры с 17 героями, что помогает им очень точно судить о результате сражения. Это означает, что если боты пытаются навязать бой, у них есть математические доказательства того, что они собираются победить.
  • Во-вторых, они не общаются как люди. Все они видят одинаковые возможности по всей карте и принимают одинаковые индивидуальные решения. Это помогает им мгновенно использовать возможность как единое целое. У людей же такие командные действия занимают время. Кто-то должен увидеть возможность, сообщить об этом своим товарищам по команде вербально или мигая на карте, а затем принять меры. Это затрудняет предугадать благоприятный и неблагоприятный исход поединка.
  • В-третьих, главной фишкой игры в Dota из 5 человек является «крысиная Dota» — рассредоточенное давление по нескольким сторонам, отрезание путей, избегание навязанных неблагоприятных драк. Тем не менее, в пуле из 17 героев нет лучших героев-крыс, что означает, что у вас нет бумаги в игре «камень-ножницы-бумага», а это подразумевает, что камень — всегда лучшая стратегия.

УРОК 3: Боты определенно превосходят команду из 5 человек в Dota из-за ограниченного пула героев и их «нечеловеческих» способностей. Тем не менее, как показывает опыт, пабы совершают противоположное — недооценивают команду из 5 человек. С точки зрения координирования команды, это самая простая стратегия, а «крысиная Dota», наверное, самая сложная. Это означает, что выбор необходимых 5 героев и попытка убедить своих товарищей по команде держаться и сражаться вместе, в среднем, принесут вам положительные результаты.

4. Убийства переоценены?

Ниже вы можете увидеть некоторые награды, что приводят к победе, которые разработчики Open AI создали для ботов:

Вид награды

Вес

Присуждается за

Опыт

0.002

за единицу опыта

Золото

0.006

за единицу полученного золота

Мана

0.75

мана (доля от общего числа)

Здоровье героя

2.0

получение (или потеря) здоровья

Добивание вражеского крипа

0.16

нанесение последнего удара вражескому крипу

Добивание союзного крипа

0.2

нанесение последнего удара союзному крипу

Убийство героя

-0.6

убийство вражеского героя

Смерть

-1.0

смерть вашего героя

Одна вещь сразу бросается в глаза — убийство имеет отрицательный вес. Объяснение этому следующее.

Этот балл дополняет балл за золото/полученный опыт. Счет «Убийство героя» отрицательный, чтобы уменьшить вознаграждение, полученное за убийство, но общий счет будет оставаться положительный.

Таким образом, убийства героев все еще приносят положительную награду ботам, но разработчики посчитали необходимым удерживать их от слишком частых убийств. Это довольно любопытно, особенно если учесть, что боты должны иметь возможность оценивать риск лучше, чем люди. А также не иметь эго, которое говорит им, что они потрясающие, когда убивают других ботов.

Чрезмерная агрессия ботов может быть связана с тем, что они не планируют долгосрочную стратегию и не получают наказание за потерю золота (но получают вознаграждение за его получение). А сама смерть имеет отрицательное значение для того чтобы сбалансировать ситуацию. В любом случае, можно предположить, что разработчики играли с числами, а приведенные выше значения дали наилучшие результаты в  эксперименте.

УРОК 4: Это приводит нас к самому прозаическому и самому старому уроку в Dota — убийства переоценены. Да, они хороши, но приоритетный контроль над картой, собственное развитие ваших ресурсов и целей дают лучшие результаты в долгосрочной перспективе. Добыча золота вместо рискованных боев — вероятно, является уроком
№ 1, который должен усвоить игрок низкого уровня, чтобы начать чаще выигрывать.

Было бы здорово увидеть, как боты играют без ограничений по предметам и героям, посмотреть, как они адаптируются и какую мету образуют. К сожалению, Open AI упомянул, что их конечная цель не состоит в том, чтобы сделать лучшего бота в Dota, что делает ресурсы для включения всего пула героев абсолютно ненужными. Dota-бот — это просто доказательство создания универсального бота, который может учиться и преуспевать в сложных условиях и задачах.

Другие интересные новости

Комментарии

Правила
На данный момент в комментариях у нас действуют следующие правила: https://dota2.ru/forum/rules/ (срок бана выдаётся на усмотрение модератора).
17 Апр 2019 в 18:45
11
Это они у Нуна научились байбекаться на 3 минуте, доанализировались 5к+ игр и теперь рейджат когда их убивают лсы с опытом в доте в 15000 раз меньшим чем у них.
18 Апр 2019 в 09:40
0
скоро шмотки будут ломать и афк ставать если понимают шо 0 шансов
17 Апр 2019 в 17:58
2
Ждем еще гайдов от OpenAI, а пока пойду добивать крипов на 5ке и сейвить вражеских фидеров

Ждем OpenAI как участников ТИ, хотя будет интересно, если мы увидим чемпионат между АИ разных компаний
18 Апр 2019 в 07:11
1
"Что мы можем извлечь из игры Open AI 5"?
- Ничего, фармите дальше.
Спасибо ньюс.
Говоря о бот вс человек на СФах, мне на память приходит как чел умер потому что плохо держал позиционку. 5 на 5 с ботами я не смотрел но чтото мне подсказывает что людишки слились из за своих ошибок а не победной стратегии ботов.
17 Апр 2019 в 21:14
1
Я мб открою тебе страшную тайну, но распределение на тиры команд происходит именно по тому, кто совершает меньше ошибок. Поэтому тир-3 команды периодически даже выигрывают тир-1, когда им удается сыграть с минимумом фейлов, а тир-1, наоборот, лажают больше чем обычно, но если провести между такими командами 10 серий, минимум 8, очевидно, уйдет тир-1 коллективу.
И сколько серий провели между ботами и людьми? Боты играли против тир-1 или тир-3 комонды?
своим комментарием я хотел намекнуть, что, возможно, боты играют в доту не лучше всех людей, а лучше только одной команды.
17 Апр 2019 в 20:08
0
количество рейдж байбэков после игр опен аи в моей команде увеличились на 90% а винрейт на 80%. Количество вардов сошло на 0 до 10 минуты, сапорты фармят вместе с керри, и количество криков "да пашли убьем" дошло до критической черты
17 Апр 2019 в 21:29
0
"Во-вторых, они не общаются как люди. Все они видят одинаковые возможности по всей карте и принимают одинаковые индивидуальные решения. Это помогает им мгновенно использовать возможность как единое целое. У людей же такие командные действия занимают время." -

собственно, ключевой фактор преимущества ботов над человеческим фактором. Идеальный тимплей - когда 5 игроков органично уживаются в одном теле openai.
17 Апр 2019 в 22:30
0
Послезавтра будут матчи против ОпенАИ в которых может принять участие любой смертный, посмотрим что да как
18 Апр 2019 в 13:18
0
скоро даун придет и будет кричать DEATH BALL
17 Апр 2019 в 21:08
-1
"«крысиная Dota», наверное, самая сложная."
А что, сплит-пуш написать религия не позволила? Или "мой блог на аниме2ру - делаю что хочу"?

Все, что написано в статье, подходит ИСКЛЮЧИТЕЛЬНО для тех условий, в которых играют боты, а общего с обычным матчмейкингом у этого чуть больше, чем ноль.
Особенно финиш "Добыча золота вместо рискованных боев — вероятно, является уроком
№ 1, который должен усвоить игрок низкого уровня, чтобы начать чаще выигрывать" актуален именно для этого, потому что я, например, играю Скаем и у меня весь фарм в килах, для мидера мой КС просто смешной, но при этом на герое у меня 70% винрейт.
17 Апр 2019 в 16:51
-9
опять 2к челик пытается в аналитику. это же он денди в топ10 игроков в истории закинул?
17 Апр 2019 в 16:57
-11
Кто ето высрал, шок. Посмотрел 2 катки и понял как работает ии7 если их стратегии неверны, чтоже ти винеры 2 катки подряд в салат лузнули7
17 Апр 2019 в 17:15
6
После того как ты написал "eто". Твоё мнение автоматически становится пустым местом.
Да ты даже в конце предложения знак вопроса не можешь нормально поставить...

Боты красавцы. Чисто конвейер по переработке биомусора (людишек). Skynet
17 Апр 2019 в 17:35
-2
Самокритично себя биомусором называть
17 Апр 2019 в 17:48
-5
У меня сенсор на телефоне по краям не работает,сори если тебя ето задело

Лучшие авторы

За день
Всего мемов: 1
KDA: 46
46
За неделю
Всего мемов: 4
KDA: 92
367
За месяц
Всего мемов: 43
KDA: 36
1532

Мемы

yuokiex
252

Новости

Форум

Матчи

Стримы

Видео