скорее всего дело в твоем r5 2600. процессор в первую очередь надо было менять для дотки. эта игра процессорозависимая (во вторую очередь озу. для ddr4 желательно не ниже 3200MHz в двухканальном режиме).
доте с максимальными настройками графики в 1080p достаточно любой карты не слабее gtx1060\rx580 (с последними апдейтами возможно чуть требования к видеокарте повысились, но не значительно).
+на всякий случай запусти мониторинг во время игры (msi afterburner или аналог) и убедиться нет ли перегрева цп, но думаю что просто этот цп уже не вывозит игру без просадок.
упомяну еще, что желательно чтобы игра была установлена на SSD.
командами можно чуть поднять фпс наверно, но незначительно - посмотри на форуме темки с такими же проблемами и оптимизацией.