大數據研發工程師職位描述與崗位職責任職要求

2024-07-26 閱讀 7601

職位描述：

工作職責：

1、打造業界領先的通用數據平臺，包括實時數據流、數據倉庫、調度系統、查詢引擎，用戶行為分析，abtest實驗系統等，降低數據的使用門檻，實現數據的最大價值

2、打造業界領先的存儲、計算等分布式系統，為海量數據和大規模業務系統提供可靠的基礎設施

任職要求：

1、熟悉多項大數據領域的開源框架，e.g.Hadoop,Hive,Presto,Storm,Spark,Kafka,HBase,Redis,RocksDB,ElasticSearch,Druid,etc.

2、強悍的編碼和troubleshooting能力

3、樂于挑戰沒有明顯答案的問題，對新技術有強烈的學習熱情

篇2:大數據研發崗位職責

大數據研發職位描述:

1、理解數據的產品應用場景邏輯,通過統計方法和通用分布式框架工具語言如hadoop,不斷加強數據服務質量;

2、負責數據清洗、轉換、建模等工作,對海量用戶行為數據通過hadoop/spark等進行離線和實時處理;

3、參與用戶畫像、個性化推薦系統等數據產品的開發工作

4、參與數據、工具平臺相關的功能接口、數據接口開發,完成業務功能;

崗位要求:

1、精通java或scala語言,具有面向對象編程思想,對底層實現有一定研究;

2、精通sparksql、sparkstreaming等編程,具有實際大型分布式集群項目開發經驗;

3、熟悉Linux操作系統,熟悉Linuxshell編程;

4、熟悉mysql,redis等常用數據庫,jetty等中間件;

5、熟悉分布式存儲或NoSQL數據庫技術,如hbase等;

6、熟悉Hadoop生態環境,精通以下一種或多種大數據技術,如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的數據挖掘算法優先。職位描述: