大模型数据爬取、清洗工程师
岗位职责:
为人工智能领域研究提供高质量数据集，包括但不仅限于以下工作内容：
1、负责设计、开发、维护数据采集代码，收集互联网公开数据
2、负责指定网页、小程序、APP等内容采集以及抽取和去重等工作
3、负责合作数据对接、数据提取、清洗、结构化、入库等工作
任职要求：
1、2年及以上工作经验计算机相关专业，擅长互联网数据采集、大数据处理等一项或多项，富有责任心。
2、熟练掌握Python语言，对数据敏感，具有良好的逻辑分析能力；
3、熟悉Linux系统，精通Python编程语言，熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理，掌握requests，selenium，scrapy等模块的用法，
4、熟悉常见的数据库，如redis、mongodb和mysql等其中一种或几种，有数据清洗分析的工作经验，了解大数据平台的基本原理；
5、熟悉多线程、反爬虫、验证码识并精通网页抓取原理及技术，熟练使用正则表达式、csspath、xpath等获取信息；
6、熟悉爬取的各类实现方式和技术细节，包括不限于：熟悉常见的反爬策略、掌握网络协议分析（http1.1/http2等）、有JavaScript反爬/逆向（AST）、APP反爬/逆向等；
热爱技术，喜欢钻研，注重代码质量，工作认真细致，有良好的协作意识；
五天八小时工作制，