Sammyuri此前就曾在游戏中构建了一个1Hz CPU,这次他再次挑战极限,用1020×260×1656个方块(总计4.39亿个方块)搭建了一个巨大的计算机,用于运行CraftGPT。
这个语言模型基于TinyChat数据集训练,能够生成简单的对话,最大缺点是响应时间极长——用户需要等待数小时才能得到一个回答,即使使用MCHPRS(Minecraft高性能红石服务器)将速度提高到约40000倍速也是如此。
Sammyuri也提醒用户和测试者降低期望,因为这个模型很容易跑题,生成语法不正确的回答,甚至输出无意义的内容。
红石在Minecraft中提供了电子元件的功能,那么Sammyuri是如何使用红石构建这个项目的呢?其在视频中展示了CraftGPT装置的逐步组装过程,包括分词器、矩阵乘法器等组件。
Sammyuri解释说,这个小型语言模型完全在Minecraft中创建,没有使用命令方块或数据包。
对于AI开发者来说,CraftGPT的参数也很有趣:它有240个嵌入维度、1920个tokens的词汇量,由6层组成,上下文窗口大小为64 tokens,足以进行非常简短的对话。
虽然CraftGPT在对话质量、深度和准确性方面存在诸多限制,但它仍然展示了玩家在Minecraft中实现复杂技术的可能性。