第344章 2020的深红（3 / 4）
因为这里来了太多从事人工智能相关工作的同事，不管是不是和llm相关，都跑到这里来干llm。
甚至连鹅厂人工智能领域的负责人，2021年年初受聘腾讯历史上最高专业职级17级研究员的张老大都来了。
但凡鹅厂内部，他能叫得出点名号的，都在申海了。
“鹅厂会战？”赵松下心想，“这可有点罕见，可llm真的是靠会战能搞定的吗？”
在互联网行业，一般有什么项目要上线，上线前夕集合其他组的力量，然后大家的工作强度和工作时长会提高，喜欢叫做会战，意思是聚集力量打赢这场仗。
百团大战、滴滴快的之争都属于这类。
但这样的会战，在拼多多、美团、淘宝、京东这类电商里比较多见，毕竟每年都有双十一，每年都有618.
对腾讯来说还真不多见，就算是重要游戏上线，认为会是腾讯内部又一款现金奶牛，也不至于如此大费周章。
显然这次不同寻常。
直到在公司见到林燃之后，赵松下才知道为什么不同寻常。
“我说怎么安保这么严格，这都放开了还天天要你扫码，安检还得把包打开来，严格程度堪比机场，原来教授在这里，教授在这里就不奇怪了。”
大老板pony体现出了对林燃的无条件信任，相信对方能够带领腾讯在人工智能的登月再度突围，给予了一切能给的资源支持。
赵松下或者说所有腾讯参与进来的工程师内心都会有所怀疑，那就是你很牛没错，航天和数学领域的顶级大佬，也有graphai的博士学位，但你真的能驾驭llm，能搞出和chatgpt相提并论的大模型吗？
更进一步来说，大家从安排的住宿时间就能够看出来，公司提供的住宿半年时间，意味着腾讯给如此多资源的时长是半年，半年就要看到成果。
大家内心都会有所疑惑。
“诸位，我就不做太多自我介绍，我叫林燃，这次由我带领大家进行我们自己大模型的研究，我把它叫做阿尔法。
我的目标是在三个月内，构造出一款比gpt更好的生成式人工智能。
我们拥有的算力比不上openai，那么我们就要从算法的层面做优化，要从数据的角度做优化。
同时我们还需要解决chatgpt存在的问题，要消除人工智能的幻觉，要提供更智能的回答，要具备更优秀的能力。
总之在未来半年时间里，我需要各位的配合和协助。
我固然是大脑，我来构建它的算法和底层架构，但需要各位配合，做其他工作。”
在大模型上，大脑固然是最重要的，但其他的工作也不可或缺，像数据准备，模型集成和部署，代码生成测试与调试，全栈开发和自动化。
需要这些工作，帮助llm从实验室走向实际应用。
“我们可以采取将模型分解为多个专家子模块，仅激活部分参数，路由机制选择专家处理输入，扩展到动态moe，再引入自适应路由，进一步降低推理成本.”
“压缩key-value缓存，通过潜在表示减少注意力机制的内存占用，同时保持多头并行，再通过集成知识图谱的方式来缓解幻觉，同时优化低算力训练”
“使用8位浮点格式进行计算，结合更高精度积累以避免精度损失，细粒度量化策略扩展到fp4/int8混合”
“moe中无辅助损失的均衡策略，确保专家利用率高，而不引入额外训练负担，扩展到无监督均衡，应用于边缘ai训练”
“同时预测多个后续token，densify训练信号，提高数据效率，结合链式预测”
“使用知识图谱注入事实，退拟合模型以修正偏差；自精炼减少检索开销”
赵松下亲眼看着他们命名为阿尔法的人工智能，以难以想象的速度狂飙突进。 ↑返回顶部↑
甚至连鹅厂人工智能领域的负责人，2021年年初受聘腾讯历史上最高专业职级17级研究员的张老大都来了。
但凡鹅厂内部，他能叫得出点名号的，都在申海了。
“鹅厂会战？”赵松下心想，“这可有点罕见，可llm真的是靠会战能搞定的吗？”
在互联网行业，一般有什么项目要上线，上线前夕集合其他组的力量，然后大家的工作强度和工作时长会提高，喜欢叫做会战，意思是聚集力量打赢这场仗。
百团大战、滴滴快的之争都属于这类。
但这样的会战，在拼多多、美团、淘宝、京东这类电商里比较多见，毕竟每年都有双十一，每年都有618.
对腾讯来说还真不多见，就算是重要游戏上线，认为会是腾讯内部又一款现金奶牛，也不至于如此大费周章。
显然这次不同寻常。
直到在公司见到林燃之后，赵松下才知道为什么不同寻常。
“我说怎么安保这么严格，这都放开了还天天要你扫码，安检还得把包打开来，严格程度堪比机场，原来教授在这里，教授在这里就不奇怪了。”
大老板pony体现出了对林燃的无条件信任，相信对方能够带领腾讯在人工智能的登月再度突围，给予了一切能给的资源支持。
赵松下或者说所有腾讯参与进来的工程师内心都会有所怀疑，那就是你很牛没错，航天和数学领域的顶级大佬，也有graphai的博士学位，但你真的能驾驭llm，能搞出和chatgpt相提并论的大模型吗？
更进一步来说，大家从安排的住宿时间就能够看出来，公司提供的住宿半年时间，意味着腾讯给如此多资源的时长是半年，半年就要看到成果。
大家内心都会有所疑惑。
“诸位，我就不做太多自我介绍，我叫林燃，这次由我带领大家进行我们自己大模型的研究，我把它叫做阿尔法。
我的目标是在三个月内，构造出一款比gpt更好的生成式人工智能。
我们拥有的算力比不上openai，那么我们就要从算法的层面做优化，要从数据的角度做优化。
同时我们还需要解决chatgpt存在的问题，要消除人工智能的幻觉，要提供更智能的回答，要具备更优秀的能力。
总之在未来半年时间里，我需要各位的配合和协助。
我固然是大脑，我来构建它的算法和底层架构，但需要各位配合，做其他工作。”
在大模型上，大脑固然是最重要的，但其他的工作也不可或缺，像数据准备，模型集成和部署，代码生成测试与调试，全栈开发和自动化。
需要这些工作，帮助llm从实验室走向实际应用。
“我们可以采取将模型分解为多个专家子模块，仅激活部分参数，路由机制选择专家处理输入，扩展到动态moe，再引入自适应路由，进一步降低推理成本.”
“压缩key-value缓存，通过潜在表示减少注意力机制的内存占用，同时保持多头并行，再通过集成知识图谱的方式来缓解幻觉，同时优化低算力训练”
“使用8位浮点格式进行计算，结合更高精度积累以避免精度损失，细粒度量化策略扩展到fp4/int8混合”
“moe中无辅助损失的均衡策略，确保专家利用率高，而不引入额外训练负担，扩展到无监督均衡，应用于边缘ai训练”
“同时预测多个后续token，densify训练信号，提高数据效率，结合链式预测”
“使用知识图谱注入事实，退拟合模型以修正偏差；自精炼减少检索开销”
赵松下亲眼看着他们命名为阿尔法的人工智能，以难以想象的速度狂飙突进。 ↑返回顶部↑