LLM Agents
LLM NPC System 本文试图设计一个游戏中的 NPC 系统，目标是让游戏环境更加真实，丰满，有趣。为了达到这个目标，我们试图实现一个在开放世界场景下的大量 NPC 驱动系统。它具有以下特点： 大量的 NPC 数量 丰富的 NPC 种类 真实的 NPC 行为 有趣的 NPC 互动 我们希望引入 LLM 的能力来增强 NPC 驱动系统。一个完整的 NPC 驱动系统应该包括以下几个部分： ...
AI
Transformer - LLM 从零开始 (Part 1: Attention)
0. 写在前面 为什么有这篇文章？ 希望自己可以以此为切入点详细过一遍 LLM 相关的知识点和实现细节。 同时，多年来的科研和工作经历中体会到了知识只【输入】往往只会停留在似是而非的程度，只有【输出】才能真正内化成自己的东西。而且，【输出】的的逻辑性和组织性本身也是一种能力的培养。 希望这会是一个系列文章，可以一直更新下去。 ...
Reinforcement Learning - An Introduction 读书笔记 习题尝试
Reinforcement Learning An Introduction 读书笔记 & 习题 作者图书主页：链接 自己python实现的代码：github链接
Dota2BotStepByStep 代码阅读
Dota2BotStepByStep总结 项目地址为github链接
TorchCraftAI 代码阅读
Building Placer流程 入口函数为./tutorials/building-placer/train-rl.cpp 主要逻辑流程如下图： trainer loop中每回合使用replay buffer中的episode样本policy gradient方式更新当前模型 交互thread loop中每个线程用当前最新版本模型进行游戏，记录episode和reward 代码流程图： ...
DeepMind AlphaStar 简介
简介 2019.01.25 deepmind公布了最新StarCraftII Agent AlphaStar，对职业选手Mana和TLO的战绩为10胜1负。目前Agent只支持使用Protoss族，但是架构支持所有种族无限制对战 训练过程 Agent训练基于PySC2接口 对单元采用transformer torso + LSTM + auto-regressive policy head (pointer net) + centralised value baseline (a3c) ...
TorchCraftAI 架构和实验
本文主要参考（翻译）了TorchCraftAI项目的官方文档Tutorials并加入了自己在阅读和实验中的一些坑和理解 模块抽象 Player Player类调用事先连接到server上的TorchCraft client并推进游戏主循环：接收游戏state update，bot内部循环，并向server发送命令 State Representation current game state (with per-Player State object) current map in-game units via TilesInfo, AreaInfo UnitsInfo internal bot state (with per-State Blackboard instance)-黑板实例 ...
DeepMind pysc2 简介和部署记录
pysc2简介 DeepMind于2017年8月公布的SC2LE (StarCraft II Learning Environment)的python部分，将SC II的机器学习官方API包括一个匿名游戏replay数据集（链接）以Python RL环境的形式暴露出来（blog） 可以简单用一句脚本安装 pip install pysc2 将相关地图（链接）下载放入StarCraftII/Maps/中即可运行 例如简单随机agent python -m pysc2.bin.agent --map Simple64 更复杂的agent参见git链接 ...
TorchCraftAI 简介和部署记录
系统简介 摘录原文如下： TorchCraftAI is a platform that lets you build agents to play (and learn to play) StarCraft®: Brood War®†. TorchCraftAI includes: A modular framework for building StarCraft agent CherryPi, a bot which plays complete games of StarCraft (1st place SSCAIT 2017-18) A reinforcement learning environment with minigames, models, and training loops TorchCraft support for TCP communication with StarCraft and BWAPI Support for Linux, Windows, and OSX 可以看到TorchCraftAI是一个集成了StarCraft通信协议以及强化学习环境的项目，可训练Agent（CherryPi）并在SSCAIT17/18中获得第一 ...