職位描述：

工作職責:

1.負責搭建大數據平臺數據的離線和實時分析系統，開發準實時數據處理任務

2.了解實時數據計算和離線數據計算相關技術，可以基于SparkStreaming或Flink等搭建實時計算平臺，解決實時計算相關技術問題

3.參與大數據平臺的開發和維護，保證數據平臺的穩定和可靠

任職資格:

1、計算機、數學相關專業全日制本科以上學歷；

2、熟悉Java或者Scala，并熟練使用其對應的常用框架spring/mybatis等;

3、熟悉主流大數據處理技術，如：Hadoop、Hbase、Hive、Spark等;

4、熟悉實時數據處理運行機制和體系結構，具備使用SparkStreaming或Flink等實時引擎進行數據流開發和調優的經驗;

5、熟悉SQL開發；熟悉Linux系統環境，熟練使用Shell腳本

篇2:大數據開發（實時計算）職位描述與崗位職責任職要求

職位描述：

崗位職責：

1、參與計算框架和服務的定制和改進，為公司批處理和流式計算能力提供支撐

2、基于業務需求和應用場景，設計和實現公司大數據相關產品

3、負責設計，開發，優化數據接入、數據存儲、數據計算服務框架

4、為公司所有業務線提供數據支持和服務

5、主要是為實時數倉計算提供數據支持和服務

任職要求：

1、本科以上學歷，3年以上大數據開發經驗，掌握數據倉庫理論、模型設計方法等

2、對大數據實時數倉建設有成熟的解決方案和實踐經驗

3、熟悉Spark，Flink、Storm等大型分布式平臺組件

4、精通SQL，SparkSQL優先，熟悉Java，Scala、Python編程

5、有較強的性能優化及問題排查、解決能力

6、具備良好的溝通能力，做事認真、仔細，有責任心，具有團隊協作能力

7、對Kafka消息隊列中間件有過深度使用經驗、對于Druid、Kudu、Presto有過項目經驗

8、對于數據采集、數據訂閱有成熟的解決方案或是項目經驗

篇3:架構工程師實時監控數據中間件職位描述與崗位職責任職要求

職位描述：

負責架構部核心項目之一：實時監控平臺

平臺目標覆蓋數萬節點的基礎設施層、應用與服務層以及業務活動層的實時動態監控，能夠及時全面的反映整個系統各層面的運行狀況。

主要職責：

1.整體負責實時監控平臺的需求和團隊管理工作；

2.和各技術團隊溝通確認集成或數據采集處理方案，以及監控需求；

3.控制項目需求優先級，把控有效輸出，迭代方式不斷呈現監控平臺的價值產出；

任職要求：

1.對技術仍保持熱情，為人積極，理解溝通能力優秀；

2.有多年分布式系統架構以及線上排障經驗，熟悉線上運維優先；

3.至少熟悉一種分布式監控跟蹤系統，如Zabbix,小米Open-Falcon，阿里鷹眼，谷歌Dapper，大眾點評CAT，eBayEagle，各類APM等；

4.熟悉ElasticSearch、Hadoop、HBase、Spark、Flink、流式處理等

5.有數字可視化落地經驗，熟悉ITIL、服務治理優先；