logo
更新:2024-05-09
大数据研发工程师(分布式存储方向)
3-6万
上海长宁区  | 3-5年  | 本科  | 社招
去申请
收藏
举报
职位详情
交通补助
节日福利
年终奖
股票期权
带薪年假
包吃
定期体检
五险一金
[岗位职责]
针对数据仓库、搜索、推荐、机器学习等场景,优化EB级大数据存储系统的性能和成本,提供跨地域可横向扩展的能力,构建元数据系统,提供业务自动化迁移能力:

1. 参与超⼤规模的下⼀代分布式元数据存储服务的研发⼯作,建立全局统一的目录树结构,简化上层应用与底层存储的交互,开发⽅案解决多租户场景下的统⼀命名空间⽬录树的扩展性、性能、平衡性、稳定性等问题
2. 参与改造开源HDFS系统,以解决100k+集群规模下的NameNode性能及内存瓶颈问题,数据层热点,稳定性,⼀致性等挑战,提升扩展性以⽀持数据及集群规模的⾼速增⻓
3. 优化大数据存储系统(HDFS)的效能,使用多层次存储、EC编码等手段降低运营成本,利用操作系统层缓存、内存、NVME等设备优化存储系统的读写性能,提高上层应用的效率;
4. 开发大数据存储系统(HDFS)的跨地域方案,利用有限的带宽和资源实现对用户透明、一致性的使用体验,保障存储系统多地域的可横向扩展性;


[任职要求]
1. 扎实的计算机理论和编程基础,熟悉常见的分布式理论和系统,熟悉JVM和Linux
2. 对Hadoop生态组件熟悉,在大数据计算和存储相关领域有相关研发经验并有产品落地
3. 具备科学清晰的问题解决思路,良好的沟通能力以及团队协调能力,崇尚数据价值和数据决策,富有责任心

[加分项]
1. 有开发和运维过大数据系统经验
2. 参与开源项目开发和向开源社区提供过代码
工作地址
上海长宁区金虹桥商业广场金虹桥国际中心
公司介绍
上海寻梦信息技术有限公司成立于2014年,是新电商平台拼多多的主体公司。拼多多于2018年7月26日正式登陆纳斯达克全球精选板块,股票代码:PDD。
拼多多是中国新电商模式的开创者,目前拥有超过3.44亿的活跃买家和超过170万活跃商家。
在以人为先的理念下,拼多多融合物质消费与精神消费,用户可以通过拼单,与好友分享买到便宜好货的快乐。
同时,拼多多还构建了分布式AI智能代理网络,将商品与消费者进行匹配,帮助海量订单精准触达制造工厂,在C2M模式下为消费者创造“便宜有好货”的价值。
拼多多目前拥有一千多名员工,平均年龄仅26岁,其中70%毕业于世界知名高校,大量工程师曾服务于谷歌、微软等一流互联网公司。
拼多多恪守本分价值观,致力于构建一个独立的公众机构,满足最广大用户的消费需求。我们永不放弃做正确的事,永不放弃为最广大人民群众创造价值。
工商信息
以下信息来自
企业类型
有限责任公司(自然人投资或控股的法人独资)
经营状态
存续
行业类型
科技推广和应用服务业
成立日期
2014年01月09日
注册地址
上海市长宁区娄山关路533号2902-2913室
统一社会信用代码
91310105090037252C
若用人单位提供虚假招聘信息,以担保或其他任何名义收取财物,扣押或以保管为名索要证件,都属于违法行为,应当提高警惕。
发布于boss直聘