前谷歌大脑科学家Yi Tay离职后创立了一家初创公司，致力于训练大模型。在创业一年后，他发文揭示了从零开始打造一家成功训练出与Gemini pro、GPT 3.5相媲美，甚至超越部分LLM的公司的艰辛历程。其中最大的挑战在于算力稀缺以及算力提供商的巨大差异，堪称“硬件彩票”。
    Yi Tay指出，在不同计算提供商之间采购计算资源时，发现即使是同样的GPU（如H100），其集群质量、加速器性能及连接性等方面的差距却如同抽中彩票一般难以预测。集群故障率之高、稳定性之差令人惊讶，有的每隔几小时就会因各种原因失败，严重影响训练效率和成本效益。
    此外，他还提及了从TPU转向GPU训练时遇到的问题，尤其是在面对硬件错误、节点布线不良、I/O瓶颈和文件系统不稳定等问题时，团队不得不采取快速修复方案，并开发了一系列工具来优化监控、高效检查点和数据存储，以提高MFU（模型翻转利用率）。
    在多集群设置环境下，基础设施管理变得更为复杂，这与他在谷歌工作时享受到的稳定环境形成鲜明对比。同时，代码库的迁移也是一大难题，需要适应外部环境中不同的软件层和更广泛的兼容性要求。
    尽管面临重重困难，Yi Tay和他的团队通过灵活调整策略，依靠直觉和经验，在有限的试验次数下，成功训练出了强大的模型，包括即将推出的旗舰产品。这一过程中，他们展现出了对原则性方法的适度偏离，更多地依赖于“YOLO”（You Only Live Once）的精神，大胆尝试并取得了显著成果。
    最后，Yi Tay作为Reka公司的联合创始人兼首席科学家，正带领团队研发先进的生成式AI模型，并分享这些不为人知的训练LLM挑战，为行业提供了宝贵的实践经验和见解。