首頁 > 制度大全 > 實時數據流工程師職位描述與崗位職責任職要求

實時數據流工程師職位描述與崗位職責任職要求

2024-07-26 閱讀 8385

職位描述

職位描述

1、負責信息流推薦實時數據流框架的建設,統一各類業務計算范式,以及在線分析引擎的搭建和優化;

2、負責信息流推薦時效性方向的架構優化,實現全系統秒級實時數據閉環。

職位要求:

1、熟悉至少一種開源流數據引擎,包括但不僅限于:Storm,SparkStreaming,Flink,Kafka等,熟悉Flink優先;

2、熟練掌握Java或Scala開發語言,具有優秀的架構設計能力,優秀的編程能力及優良的開發習慣;

3、具備獨立溝通需求,設計,架構,開發的能力;具備從日常業務中發現問題并解決問題的能力。

篇2:大數據工程師數據流方向職位描述與崗位職責任職要求

職位描述

工作職責

1、負責字節跳動所有產品線風控方向的數據流和相關數據服務;

2、面向超大規模數據問題,每天處理千億增量的用戶行為數據;

3、負責流式數據的實時傳遞,清洗,轉換,計算,并對外提供查詢服務;

4、負責相同數據集的批處理功能。

任職要求

1、有至少TB以上級大數據處理經驗,編碼能力強悍,具備生產系統快速trouble-shooting的經驗和能力;

2、熟悉大數據處理工具/框架中的一項或多項,包括但不限于Hadoop,Mapreduce,Hive,Storm,Spark,Druid,kafka,hbase,canal,ES等;

3、對開源社區有過貢獻者優先,請在簡歷上說明。

篇3:實時數據流工程師職位描述與崗位職責任職要求

職位描述

職位描述

1、負責信息流推薦實時數據流框架的建設,統一各類業務計算范式,以及在線分析引擎的搭建和優化;

2、負責信息流推薦時效性方向的架構優化,實現全系統秒級實時數據閉環。

職位要求:

1、熟悉至少一種開源流數據引擎,包括但不僅限于:Storm,SparkStreaming,Flink,Kafka等,熟悉Flink優先;

2、熟練掌握Java或Scala開發語言,具有優秀的架構設計能力,優秀的編程能力及優良的開發習慣;

3、具備獨立溝通需求,設計,架構,開發的能力;具備從日常業務中發現問題并解決問題的能力。