职位详情
职责描述:
- 参与超大规模预训练语言模型和多模态模型的预训练的模型训练,包括:
1. 预训练模型结构和训练任务优化,提升预训练模型学习世界知识的能力。
2. 持续收集和清洗大规模预训练数据,并研究数据构成和学习顺序对大模型效果的影响。
3. 参与预训练模型评测,包括评测流程建设和完善、评测方法设计和优化等。
- 参与大模型Alignment相关工作,包括:
1. Alignment方法设计与研究,包括SFT和RLHF等相关的算法研究。
2. Alignment整体数据建设,包括数据构建、标注以及分析其对模型能力的影响。
3. 从下游调优的角度探索如何提升大模型的逻辑推理能力。
4. 高效参数调优,轻量化Finetuning探索。
任职要求:
1. 有大模型算法设计和训练经验的优先;
2. 有大模型算法相关研究经历和具有影响力的科研工作(高引用论文、知名开源项目、企业大模型项目等)的优先;
3. 自我驱动力,动手能力强,对AI行业有浓厚的兴趣,较强的学习能力和责任心;
4. 熟练掌握tensorflow、pytorch等深度学习框架;
5. 优秀的coding/工程能力。
其他信息
语言要求:英语、普通话