大數據平臺高級工程師平臺產品方向職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責公司級的統一數據平臺和分析型產品的研發,服務于今日頭條全公司的數十個用戶產品線;
2、設計和實現Web后端和關鍵數據服務,用數據?量產品并驅動產品演進。
任職要求:
1、熟悉互聯網產品和服務的開發過程,熟悉后端技術架構,具備良好的系統設計能力;
2、扎實的計算機基礎,對技術有熱情,愿意不斷嘗試新技術和業務挑戰;
3、熟悉Python和Go語言優先;
4、有大數據集、分布式計算工具(Hadoop,Spark,Hive,Storm)等應用開發經驗優先;
5、有產品sense,兼具pm技能者優先。
篇2:平臺運維工程師崗位職責
平臺運維工程師一1、Cloudera大數據平臺集群規劃與搭建;
2、大數據平臺安全防護與應急響應;
3、協助研發團隊對存儲資源以及集群資源統一分配與調度、性能調優、故障分析與診斷;
4、實時監控接入平臺的SaaS服務的所有數據安全等;
5、按照安全架構師的統一規劃實施數據平臺等保三級相關配套防護措施;
6、與Cloudera等合作伙伴保持良好互動,協調IaaS運維工程師解決數據
二1、PaaS平臺日常運行和維護;
2、PaaS資源安全防護與應急響應;
3、協助研發團隊對容器與容器鏡像資源統一分配與調度、性能調優、故障分析與診斷;
4、實時監控接入平臺物聯設備應用安全、數據安全和網絡安全等;
5、配合集團PaaS平臺集群對接,保證上海PaaS平臺高可用性;
6、與PaaS合作伙伴保持良好互動,協調IaaS運維工程師解決各種突發問題
一1、Cloudera大數據平臺集群規劃與搭建;
2、大數據平臺安全防護與應急響應;
3、協助研發團隊對存儲資源以及集群資源統一分配與調度、性能調優、故障分析與診斷;
4、實時監控接入平臺的SaaS服務的所有數據安全等;
5、按照安全架構師的統一規劃實施數據平臺等保三級相關配套防護措施;
6、與Cloudera等合作伙伴保持良好互動,協調IaaS運維工程師解決數據
二1、PaaS平臺日常運行和維護;
2、PaaS資源安全防護與應急響應;
3、協助研發團隊對容器與容器鏡像資源統一分配與調度、性能調優、故障分析與診斷;
4、實時監控接入平臺物聯設備應用安全、數據安全和網絡安全等;
5、配合集團PaaS平臺集群對接,保證上海PaaS平臺高可用性;
6、與PaaS合作伙伴保持良好互動,協調IaaS運維工程師解決各種突發問題
篇3:數據平臺開發工程師崗位職責
資深數據平臺開發工程師(嚴選)-郵件事業部172網易集團網易(杭州)網絡有限公司,杭州網易,網易,網易杭州,網易游戲,網易網絡,網易集團,網易工作職責:
1、負責離線計算平臺的開發和維護工作;
2、負責HBase/TiDB的開發與維護工作;
3、負責Alluxio/Arrow等開發與維護工作。
任職要求:
1、5年以上相關領域開發經驗,熟悉Java/Go/C++的一種;
2、對數據庫系統或分布式系統的原理和架構有較好的了解;
3、優秀的發現和解決問題能力,良好的溝通能力和團隊意識。
加分項:
1、熟悉Hadoop生態,參加過開源項目;
2、熟悉Hive、Spark、HDFS、HBase、TiDB中至少一種產品的實現細節;
3、有數據庫/數據治理產品的開發和運維經驗。