首頁 > 制度大全 > 大數據基礎架構工程師(Hadoop)職位描述與崗位職責任職要求

大數據基礎架構工程師(Hadoop)職位描述與崗位職責任職要求

2024-07-26 閱讀 4086

職位描述

工作職責

1、打造業界領先的大數據基礎設施,包括數據接入,同步,存儲、計算,查詢等環節的分布式系統,為海量數據和大規模業務系統提供可靠的基礎設施;

2、與開源社區保持交流,發現對業務場景有幫助的特性并引入生產環境,或將經內部驗證的特性貢獻到社區;

3、承擔千臺規模集群的管理工作,與業務一起解決性能優化、容量規劃、預算審計等問題,保障集群高效穩定經濟運行;

任職資格

1、計算機基礎扎實,熟悉常用數據結構和算法,具備較強的邏輯思維能力和編碼能力;

2、掌握分布式系統原理,對存儲、計算、消息隊列、資源管理,數據同步等中的一項或多項有深入的理解和認識;

3、樂于挑戰沒有明顯答案的問題,能快速理解業務場景,從具體問題中抽象出通用的解決方案;

4,熟悉Hadoop,Hbase,Zookeeper,Flume,K8s等基礎服務中的一項或多項;

5、有Kafka或者同類型技術設計開發及集群管理經驗者優先。

篇2:智能平臺工程師架構師抖音火山職位描述與崗位職責任職要求

職位描述

工作職責

1、負責抖音、火山等海內外億級產品的大規模集群的優化工作,優化架構、穩定性、資源、全球多機房問題;

2、負責AIOps方向的優化,優化故障檢測、根因分析、健康度、容量規劃等;

3、負責DevOps方向的云平臺建設,優化核心服務的持續集成和交付,高效和自動化的運維優化。

任職要求

1、擁有良好的系統設計能力、開發能力,對解決具有挑戰性問題充滿激情;

2、對大規模分布式系統的設計、分析、故障排查有強烈興趣;

3、有以下經驗者優先:機器學習AI經驗、或運維相關經驗、或云平臺相關經驗(阿里云、AWS等)。

篇3:高級Java研發工程師架構師職位描述與崗位職責任職要求

職位描述

崗位描述

1、負責后臺核心系統的開發與設計,完成核心代碼編寫;

2、根據開發規范與流程獨立完成模塊的設計、編碼;

3、參與現有系統的升級、改進、性能調優等。

任職要求:

1、三年以上java開發經驗,JAVA基礎扎實,理解IO、多線程、MQ等基礎框架,對JVM原理有一定的了解。

2、熟悉Linux操作系統常用命令。

3、熟悉分布式系統,熟練掌握一種以上分布式服務框架者優先

4、有大規模分布式系統的設計和開發經驗者優先

5、具有優秀的學習能力,良好的邏輯分析能力,良好的溝通能力和團隊合作精神