北京大学五位学生发布了《机器学习玩即时战略卡牌游戏》，其中游戏都以“皇室战争”为样板。

原文：*s://*.ijcai*/Proceedings/2019/0631.pdf
上面^发了个链接，不知道有没有被吞。
全文是英文，文章结构……也有一些紊乱……所以下面我来讲讲吧。

saintui：4.3. 对SEAT回馈部分的补充
我们上面定义了任意时刻 t 的收益：rt = rt(卡牌) + rt(军队) + rt(皇家塔)。而我们还需要考虑一段时间内的累积收益。这里我们需要引入机器学习的重要概念——折扣率。
我们往往更关心眼前的得失，而非久远的经验。“折扣”意味着我们得到的收益随着时间越来越小。“折扣率”就是衡量这个变小程度的参数。每过单位时间，我们的收益纳入计算时，就需要乘以一个折扣率。
折扣率 gamma 是我们设定的一个 0~1 范围内的常数。gamma 越大，折扣越小。这意味着AI学习时， 更关心长期奖励。gamma 越小，折扣越大。这意味着我们的AI更关心短期奖励。
此处，我们规定从 t0 时刻开始到现在的总收益：Rt0 = SIGMA [ t = ( t0~T ) ] gamma ^ ( t - t0 ) * rt 。
即从 t0 时刻开始每时刻的收益乘以相应折扣率的加和。 发布于 2021-02-14 10:26:13

红尘陌路天涯：快进到柯洁和皇室阿尔法狗对线 发布于 2021-02-14 08:12:23

取名要崩溃：如果人工智能会组卡组能赢顶尖职业，那么它一定带地震法术 发布于 2021-02-14 07:54:23

高帽子先生7：这个ai做出来，cncr无敌了啊 发布于 2021-02-14 06:27:23

折木先森丫：啊这，支持一波 发布于 2021-02-14 06:27:13

saintui：4.2. 状态图像
在进行游戏操作之前，我们必须能够识别出敌方的部队。论文使用了一套“卷积神经网络”系统来进行图像识别，在识别出单位的位置（Pi(x,y)）同时标记其生命（Hi）、特性（Ci）和派别（Fi）。
三个数据接下来便要参与关注点部分和卡牌选择部分的运算。
原文中对此的描述为：“将对应的数据同时标记在三个层（layer）上。” 如下图：
发布于 2021-02-14 06:23:03

何其哲：听说不胜西瓜也有研究这个 发布于 2021-02-14 06:16:43

一杯美味的橙汁：不管，骑士弩暴打mugi，哦不对，ai 发布于 2021-02-14 06:12:13

辉煌银星：CR倒还挺适合作为研究对象的 发布于 2021-02-14 06:08:43

saintui：下面的部分就稍有复杂了。lz累了，过会儿再更。 发布于 2021-02-14 06:07:03

saintui：4.1. SEAT模型的回馈部分
论文用 Rt 来表示 t-1 时刻~ t 时刻获得的总收益。其中，总收益由三部分组成，分别为：卡牌收益、军队收益、皇家塔收益。总收益为三者之和，可以表示为：Rt = rt(卡牌) + rt(军队) + rt(皇家塔)。下面分别介绍。
1. 军队收益。军队收益是用来衡量场上敌方单位数量的变化的。t-1 时刻到 t 时刻，每消灭一个敌方单位带来 +2 的军队收益。如果敌方单位没有减少，则军队收益为 0 。
2. 卡牌收益。卡牌收益是用来衡量我方使用卡牌的数量的。t-1 时刻到 t 时刻，我方每使用一张卡牌带来 -3 的卡牌收益。
3. 皇家塔收益。皇家塔收益是用来衡量破塔情况的。t-1 时刻到 t 时刻，每摧毁一个敌方皇家塔带来 +20 的收益，每损失一个己方皇家塔带来 -30 的收益。 发布于 2021-02-14 06:06:53

saintui：四、SEAT模型概述。
论文的关键即在于给出的SEAT模型。该模型由以下几个部分组成。其顺序为：
1. 卡牌选择部分
2. 关注点部分
3. 回馈部分
我下面先介绍“回馈部分”。 发布于 2021-02-14 06:05:03

saintui：三、游戏进程的数字化
用 i (1~4) 来表示玩家的手牌。用 mi 表示第 i 张牌的圣水花费。
记 t 时刻玩家打出第 i 张牌的概率为 Ui,t，放置在 Pi,t 的位置。
其中，Ui,t ∈ [0, 1]，Pi,t = (x, y)。 (i = {1, 2, 3, 4}) 发布于 2021-02-14 06:04:13

saintui：二、《皇室战争》对战的数字化
如何描述《皇室战争》的战场？论文将任意时刻的战场，用一系列“游戏状态函数”来表示。“游戏状态”共包含四个函数：
1. 位置。论文将竞技场分为18000*32000像素的画面（即18*32个格子，每个格子里1000*1000像素），用坐标 Pi(xi, yi) 来表示单位 i 的位置。其中xi和yi以一像素为单位。
2. 生命值。不同的单位有不同的血量。论文用1~10的整数来表示单位 i 的血量，记为 Hi 。
3. 特性。用 Ci 来表示单位 i 的特性。Ci 的范围也是1~10的整数。特性用来表示单位的类别（军队、建筑……）和特征（高攻击、范围伤害、只攻击建筑……）。
4. 派别。用 Fi 表示部队的派别。Fi 的范围是0和1，分别表示“己方”和“敌方”。 发布于 2021-02-14 06:03:13

saintui：一、简化的皇室战争
论文将皇室战争做了一写简化，以方便研究。在这里，双方有完全相同的初始卡组和完全随机的牌序。卡牌的伤害和血量都被简化。伤害分为“高伤害”和“低伤害”两种。血量则为1~10的整数。
卡组如下：

发布于 2021-02-14 06:03:13

更多《皇室战争》AlphaCR！用AI打皇室！第28届国际人工智能联合会议上发表论文…相关问题

问题：《皇室战争》AlphaCR！用AI打皇室！第28届国际人工智能联合会议上发表论文…

回答：这个定位夸张了。 秽土这招虽然很夸张。 但本身实力， 远远不行。 但觉， 真正单挑的话， 都不一定能打过 三代雷影和二代土影。 详情 >

问题：皇室战争有可能出现超级AI吗?

回答：我遇到过同样是初学者，比较正常的不会去刻意犯规。打手，被过了胳膊一直拦在腰上。初学的小混混则比较过分，明显盖不到直接手往脸上按，亮肘子打软肋，最过分的一次过完人直接被人踢小腿绊倒了。以上恶意动作如果是个循规蹈矩的初学者是很难看到的，樱木不是... 详情 >

问题：《皇室战争》本来不想说，但还有人质疑高级ai的存在？

回答：那个时候出现的是四代的一点查克拉， 详情 >

问题：疑问:如果阿尔法狗这样的人工智能来玩皇室战争会怎样？

回答：捕捉阿尼的时候104期除了主角3人组+让，其他人都被关起来看着了，防止他们之中有阿尼的同伙 详情 >

问题：《皇室战争》G了，国际服好像大陆地区没有人工客服了

回答：史塔克不行？一人毫无战意单挑四位百年队长，还有两位会虚化的，公式书的设定是0大于456号，0弱于123号，还有史塔克是自行破面，唯一一个没用被蓝染赋予力量的破面，史塔克那惊人的灵压，弱小的虚靠近就会死去 详情 >