网页制作模板的网站免费住建部网站统计城乡建设统计信息系统登录

前言

之前那个python源码的飞机大战bug过多，还卡顿，难以继续训练。可直接放弃的话又不甘心，所以找了个unity版本的飞机大战继续(终于不卡了)，这次直接使用现成的mlagents库。

过程

前前后后花了两周时间，甚至因此拖了好几个课的实验报告没写(大三好多报告啊！！！选修课都要写),然而训练出来的模型，甚至都没有python版本的好…

问题

第一次用untiy 代码与界面对应不及时 在代码里初始化了 却因为在界面改了而失效 有时就因为这个找了好久bug 后面发现在start函数里初始化靠谱点
mlagents 教程较少 只找到了关于官方教程项目的博客
需要考虑的因素过多 飞机 子弹 buff的个数加起来最多可达30(没有进行限制) 一开始直接使用camera sensor 这个组件将图像传进去 那时还想着同样都是输入图像，mlagents库可以同时训练多个并加速，效果肯定比python版本的好的多，结果证明想多了。

目前

状态空间
图像 灰度
敌人 子弹 buff 距离飞机最近的部分
血量 buff数。。。
原本还想加上消灭所有敌人可获得的分数的，但感觉与已有的重叠了
(已去除) 检测敌机和子弹的射线组件 不知道如何查看是否检测到了 只能删掉

动作空间
移动 上下左右 离散 (旧版本 连续 可变速 可转向)
使用buff

奖励
无事发生 0 试过惩罚，因为官方项目里为了快速完成任务会这样做。但是飞机大战里为了躲避子弹，无事发生是免不了的，盲目逼迫可能会起到负面效果，让ai无法理解。
击杀 根据增加分数奖励
获得buff 奖励
受伤 扣分
死亡 扣分
(想过) 敌人越过防线 惩罚 避免ai贪生怕死 尽可能的优雅而又高效率杀敌
(已注释掉)高度惩罚 静止惩罚

训练
1.先模拟学习 游戏苦手 为了演示的好一点 特意把游戏难度降低了 因为将全部敌人的数据输入给网络并不显示(输入的图像感觉毛用没有！！！),所以ai只能“看”到最近的x个对象。为了真实，我改成了真人玩时也只能看到ai能“看”的。例如3颗子弹(突然冒出的子弹有点吓人，因此暴毙过)，9个敌机。
2.不进行模拟学习
效果都不理想。不明白为啥python那里只有图像就表现得那么好(相对而言)。

辅助
第一周时每次开机都要进行

打开项目文件夹
conda命令行
转换环境
打开记录命令的文本文件
复制粘贴
这个繁琐的步骤

第二周实在忍不了了，写了个bat脚本来提高启动效率

放弃

两周了效果还是不好，为了考试和等着我的一堆实验报告，只能放弃了。代码太乱了就不放出来了，已经成shishan了,一堆不敢删掉只能注释的代码(尝试修改奖励函数的产物)。改着改着硬是堆到了1000多行代码。这炼丹师实在不好当啊。

参考

(参数调整)[https://www.cnblogs.com/gentlesunshine/p/12790103.html]
(unity飞机大战github)[https://github.com/Like-Hero/Air-War]