第348章 飢不择食的META（2 / 5）
扎克伯格欣喜过望，觉得自己找对人了。
“巴拉苏布拉马尼安教授，在训练llm中，你是如何处理过擬合或者欠擬合问题呢？”
“大规模训练，预训练涉及在海量无標籤数据上学习通用表示，我们可以通过掩码语言建模或下一句预测；另外微调在特定任务数据集上调整权重，实现迁移学习。
针对过擬合，我认为使用正则化和dropout，比如说在bert变体中dropout率0.1，並应用早停机制；欠擬合时，增加模型深度或数据增强。
在之前的项目中，我通过梯度裁剪处理训练不稳定，在glue基准上將过擬合率从15%降至5%，这能帮助大模型训练在多任务適应中更高效。”尼兰詹成竹在胸。
问这个，对我而言不是小意思？
扎克伯格后续又问了一些关於参数高效微调、多模態模型主要挑战、幻觉成因及缓解策略等问题，尼兰詹对答如流。
扎克伯格听完之后，確定自己找对人了。
对方被关在监狱一年多时间，出来还能侃侃而谈，追上最新进度，一眼就是大模型领域的先驱人才。
再者，对方还教出了伦道夫·林这样的顶级天才，对方能搞深红，我们meta在巴拉苏布拉马尼安教授的带领下，搞个深蓝出来不过分吧？
扎克伯格本来就保持笑容的脸庞笑得更开心了：“巴拉苏布拉马尼安教授，欢迎你加入meta，未来將由你担任meta的首席科学家，带领我们一路前行。”
他按了下桌上的按钮，meta的工作人员走了进来，拿来了一份合同，扎克伯格递到尼兰詹面前：“巴拉苏布拉马尼安教授，恭喜你，你將成为亿万富翁。”
尼兰詹拿起来一看，惊呆了，年薪一亿美元。
这个数字都让他有点不敢签了。
扎克伯格能把他捞出来，那肯定也能把他再送进去。
一亿美元的年薪，自己要是做不出东西来，到时候不会被关到死吧？
“老板，这个数字是不是太多了一些？”尼兰詹小心翼翼道。
扎克伯格也震惊了，居然还有印度裔会主动嫌工资太高？meta印度裔高管一大把，印度裔的科学家也不在少数，都只会和他说我有多少多少贡献，暗示能不能加薪。
尼兰詹还是他见过第一个，觉得工资太高的印度裔。
“不，巴拉苏布拉马尼安教授，你放心，这个价码一点都不高。
你刚从监狱里出来，还不清楚这个世界最近这一年发生了什么。
你要知道发生了什么，你就会知道，这个数字很合理。”
扎克伯格说完之后，尼兰詹又粗略看了一遍，然后在合同上籤下自己的名字。
扎克伯格面带笑意，和他握手拍照留念。
第二天，meta官方就发表了对外公告：
“公司將任命知名人工智慧专家尼兰詹·巴拉苏布拉马尼安教授为公司首席科学家，负责领导人工智慧大模型的研究工作。
这一任命正值生成式预训练transformer模型横空出世，引发全球ai革命之际，meta致力於加速开源ai创新，推动更安全、更高效的ai技术发展。
尼兰詹·巴拉苏布拉马尼安教授目前任职於纽约州立大学石溪分校计算机科学系，拥有超过15年的自然语言处理（nlp）和机器学习研究经验。
他的开创性工作包括开发deformer框架，用於优化预训练transformer模型在问题解答任务中的效率，以及探索事件表示和注意力机制在用户人格预测中的应用，这些成就已发表於顶级会议如acl和aaai，並被广泛引用。
教授的专长將助力meta在llama系列大模型上的持续创新，確保ai技术在社交、元宇宙和全球连接中的应用更具包容性和可靠性。 ↑返回顶部↑
“巴拉苏布拉马尼安教授，在训练llm中，你是如何处理过擬合或者欠擬合问题呢？”
“大规模训练，预训练涉及在海量无標籤数据上学习通用表示，我们可以通过掩码语言建模或下一句预测；另外微调在特定任务数据集上调整权重，实现迁移学习。
针对过擬合，我认为使用正则化和dropout，比如说在bert变体中dropout率0.1，並应用早停机制；欠擬合时，增加模型深度或数据增强。
在之前的项目中，我通过梯度裁剪处理训练不稳定，在glue基准上將过擬合率从15%降至5%，这能帮助大模型训练在多任务適应中更高效。”尼兰詹成竹在胸。
问这个，对我而言不是小意思？
扎克伯格后续又问了一些关於参数高效微调、多模態模型主要挑战、幻觉成因及缓解策略等问题，尼兰詹对答如流。
扎克伯格听完之后，確定自己找对人了。
对方被关在监狱一年多时间，出来还能侃侃而谈，追上最新进度，一眼就是大模型领域的先驱人才。
再者，对方还教出了伦道夫·林这样的顶级天才，对方能搞深红，我们meta在巴拉苏布拉马尼安教授的带领下，搞个深蓝出来不过分吧？
扎克伯格本来就保持笑容的脸庞笑得更开心了：“巴拉苏布拉马尼安教授，欢迎你加入meta，未来將由你担任meta的首席科学家，带领我们一路前行。”
他按了下桌上的按钮，meta的工作人员走了进来，拿来了一份合同，扎克伯格递到尼兰詹面前：“巴拉苏布拉马尼安教授，恭喜你，你將成为亿万富翁。”
尼兰詹拿起来一看，惊呆了，年薪一亿美元。
这个数字都让他有点不敢签了。
扎克伯格能把他捞出来，那肯定也能把他再送进去。
一亿美元的年薪，自己要是做不出东西来，到时候不会被关到死吧？
“老板，这个数字是不是太多了一些？”尼兰詹小心翼翼道。
扎克伯格也震惊了，居然还有印度裔会主动嫌工资太高？meta印度裔高管一大把，印度裔的科学家也不在少数，都只会和他说我有多少多少贡献，暗示能不能加薪。
尼兰詹还是他见过第一个，觉得工资太高的印度裔。
“不，巴拉苏布拉马尼安教授，你放心，这个价码一点都不高。
你刚从监狱里出来，还不清楚这个世界最近这一年发生了什么。
你要知道发生了什么，你就会知道，这个数字很合理。”
扎克伯格说完之后，尼兰詹又粗略看了一遍，然后在合同上籤下自己的名字。
扎克伯格面带笑意，和他握手拍照留念。
第二天，meta官方就发表了对外公告：
“公司將任命知名人工智慧专家尼兰詹·巴拉苏布拉马尼安教授为公司首席科学家，负责领导人工智慧大模型的研究工作。
这一任命正值生成式预训练transformer模型横空出世，引发全球ai革命之际，meta致力於加速开源ai创新，推动更安全、更高效的ai技术发展。
尼兰詹·巴拉苏布拉马尼安教授目前任职於纽约州立大学石溪分校计算机科学系，拥有超过15年的自然语言处理（nlp）和机器学习研究经验。
他的开创性工作包括开发deformer框架，用於优化预训练transformer模型在问题解答任务中的效率，以及探索事件表示和注意力机制在用户人格预测中的应用，这些成就已发表於顶级会议如acl和aaai，並被广泛引用。
教授的专长將助力meta在llama系列大模型上的持续创新，確保ai技术在社交、元宇宙和全球连接中的应用更具包容性和可靠性。 ↑返回顶部↑