安徽飞数信息科技有限公司

数据工程师

岗位职责：

1、数据处理：负责大模型预训练、微调数据的采集、清洗、去重、去噪与结构化标准化处理，针对智能Agent场景优化语料质量，搭建高质量NLP语料库，支撑大模型训练、迭代与业务落地。

2、大数据工程化搭建：基于Python设计开发并优化数据处理Pipeline，熟练运用Spark、Hadoop大数据框架进行大规模数据处理，解决海量语料、复杂场景下的数据算力与处理效率问题，实现预处理流程自动化、标准化；持续优化数据处理效率与质量，支撑下游算法研发与模型训练；独立完成数据分析、效果复盘，输出完整的数据处理报告及技术文档。

3、需求与数据管理：对接业务与算法需求，拆解大模型、Agent场景的数据需求，制定数据处理规范；负责训练语料的分类存储、版本管理与权限管控，保障数据安全、可复用、可追溯。

4、模型训练与优化：负责训练迭代文本分类、数据质量判别、语料筛选等数据模型；结合大模型与Agent交互场景特性，优化数据筛选与质检能力，提升数据适配度与模型落地效果。

岗位要求：

1、本科及以上学历，大数据、计算机、自动化、人工智能等理工科相关专业，拥有1-2年AI领域NLP数据处理、语料搭建经验，有大模型、智能Agent项目数据落地、大规模大数据处理项目经验者优先。

2、熟练掌握Python编程与常用NLP处理框架，熟悉Linux基础操作与脚本编写；精通Spark、Hadoop主流大数据生态组件，具备扎实的大规模、海量数据分布式处理实战经验，能独立完成大数据任务开发、调优与问题排查，能独立开发、迭代数据处理工具与自动化流程。

3、具备扎实的NLP、机器学习、深度学习及数据挖掘基础，熟悉大模型预训练微调、Agent任务编排相关数据逻辑，有数据挖掘、语料优化、海量数据治理项目经验者优先。

4、有NLP算法研发、模型调优、Agent智能体迭代经验者优先，具备小型团队带队、项目统筹能力者优先。

5、具备良好的业务理解力、沟通协作能力与服务意识，工作严谨细致，具备较强的问题排查能力与自主迭代优化能力，能够应对海量数据场景下的复杂数据处理问题并持续优化。

投递说明：

简历投递—简历筛选—初试—复试—发放offer—体检入职

其他描述：

工作时间：9:00-18:00，周末双休，享受国家法定节假日
福利待遇：五险一金、伙食补贴、通讯补贴、差旅补贴、年假、年终奖、生日贺礼、宿舍公寓、团建拓展、班车
职业发展：新员工导师辅导计划、完善的内部培训体系、关键岗位后备人才培养，良好的职业晋升通道，广阔的发展平台

安徽飞数成立于2024年，是专注人工智能应用创新领域投资的言知科技全资子公司，公司专注于版权数据集、数据标注及采集平台、数据加工等产品和服务，致力于成为人工智能高质量数据生产的标杆企业，打造智能数据生态，助力智能科技前沿