大數(shù)據高級研發(fā)職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責大數(shù)據平臺的系統(tǒng)架構、方案設計;
2、根據項目需求,分析,設計,并實現(xiàn)系統(tǒng)的架構方案。使系統(tǒng)架構具有合理性和可擴展性;
3、負責開發(fā)數(shù)據統(tǒng)計系統(tǒng),海量數(shù)據分析/查詢、分布式存儲、流式/實時計算等應用層架構搭建及核心代碼實現(xiàn);
4、技術難題攻關,持續(xù)提升核心系統(tǒng)性能,保證系統(tǒng)的安全、穩(wěn)定、快速運行;
任職要求:
1、熟悉Hadoop底層文件系統(tǒng),熟悉Hadoop分布式計算框架,熟悉掌握HDFS、Hbase、Hive、Mapreduce、Spark、Storm、Flink等.
2、精通Java,golang,Python至少兩種編程語言,有較強的分布式計算基礎和軟件工程能力
3、熟悉業(yè)界有影響力數(shù)據倉庫和大數(shù)據領域的產品、解決方案形態(tài)和技術,熟悉OLAP、OLTP引擎和DB,熟悉主流數(shù)據整合、治理技術和工具;
4、熟悉大數(shù)據和數(shù)倉領域的系統(tǒng)架構設計方法,有海量數(shù)據系統(tǒng)的安裝部署維護經驗,對大規(guī)模數(shù)據并行計算/傳輸/處理等有豐富的經驗者優(yōu)先;
5、熟悉掌握通用大數(shù)據數(shù)據合并、建模、抽取、分析挖掘機、展示等挖掘算法,具有在實際項目中結合業(yè)務場景開發(fā)大數(shù)據算法的經驗者優(yōu)先;
6、有大型分布式、高并發(fā)、高負載、高可用系統(tǒng)設計、開發(fā)和調優(yōu)經驗者優(yōu)先;
篇2:大數(shù)據研發(fā)崗位職責
大數(shù)據研發(fā)職位描述:
1、理解數(shù)據的產品應用場景邏輯,通過統(tǒng)計方法和通用分布式框架工具語言如hadoop,不斷加強數(shù)據服務質量;
2、負責數(shù)據清洗、轉換、建模等工作,對海量用戶行為數(shù)據通過hadoop/spark等進行離線和實時處理;
3、參與用戶畫像、個性化推薦系統(tǒng)等數(shù)據產品的開發(fā)工作
4、參與數(shù)據、工具平臺相關的功能接口、數(shù)據接口開發(fā),完成業(yè)務功能;
崗位要求:
1、精通java或scala語言,具有面向對象編程思想,對底層實現(xiàn)有一定研究;
2、精通sparksql、sparkstreaming等編程,具有實際大型分布式集群項目開發(fā)經驗;
3、熟悉Linux操作系統(tǒng),熟悉Linuxshell編程;
4、熟悉mysql,redis等常用數(shù)據庫,jetty等中間件;
5、熟悉分布式存儲或NoSQL數(shù)據庫技術,如hbase等;
6、熟悉Hadoop生態(tài)環(huán)境,精通以下一種或多種大數(shù)據技術,如flume、Kafka、Hdfs、MR、elasticsearch;
7、熟悉常用的數(shù)據挖掘算法優(yōu)先。職位描述:
1、理解數(shù)據的產品應用場景邏輯,通過統(tǒng)計方法和通用分布式框架工具語言如hadoop,不斷加強數(shù)據服務質量;
2、負責數(shù)據清洗、轉換、建模等工作,對海量用戶行為數(shù)據通過hadoop/spark等進行離線和實時處理;
3、參與用戶畫像、個性化推薦系統(tǒng)等數(shù)據產品的開發(fā)工作
4、參與數(shù)據、工具平臺相關的功能接口、數(shù)據接口開發(fā),完成業(yè)務功能;
崗位要求:
1、精通java或scala語言,具有面向對象編程思想,對底層實現(xiàn)有一定研究;
2、精通sparksql、sparkstreaming等編程,具有實際大型分布式集群項目開發(fā)經驗;
3、熟悉Linux操作系統(tǒng),熟悉Linuxshell編程;
4、熟悉mysql,redis等常用數(shù)據庫,jetty等中間件;
5、熟悉分布式存儲或NoSQL數(shù)據庫技術,如hbase等;
6、熟悉Hadoop生態(tài)環(huán)境,精通以下一種或多種大數(shù)據技術,如flume、Kafka、Hdfs、MR、elasticsearch;
7、熟悉常用的數(shù)據挖掘算法優(yōu)先。
篇3:高級大數(shù)據產品研發(fā)工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1.參與公司數(shù)據開發(fā)平臺、BI產品等大數(shù)據產品的設計和開發(fā);
2.負責數(shù)據開發(fā)平臺、BI產品等大數(shù)據產品的部署和維護,保證其穩(wěn)定和可靠;
3.關注和參與大數(shù)據方向開源產品的技術動態(tài)與演進,推動產品與技術架構持續(xù)更新;
任職要求:
1.計算機相關專業(yè),本科及以上學歷,5年以上軟件開發(fā)經驗,3年以上互聯(lián)網產品或分布式系統(tǒng)開發(fā)設計經驗;
2.精通Java,Python,Scala等一種或幾種編程語言,并熟悉Linux操作系統(tǒng)及BashShell編程;
3.有Hadoop/Spark/Hive/Presto/HBase/ElasticSearch/Kafka等使用經驗,并熟悉上述常用的分布式系統(tǒng)架構設計和原理;
4.熟悉微服務框架及相關技術,如Dubbo,SpringCloud等;
5.熟悉MySQL、Redis,并了解或接觸過其他數(shù)據庫如Oracle,SqlServer,PostgreSQL,MongoDB等;
6.了解容器技術,如Docker,Kubernetes;
7.具有一定的軟件設計能力,熱愛大數(shù)據和技術,相信技術改變世界,學習能力強,認同數(shù)據價值,有面向業(yè)務的思維,較強的自主學習能力和英文技術文檔閱讀能力;
8.良好的溝通能力、團隊精神及服務意識,勇于接受挑戰(zhàn),能承受較大的工作壓力;
9.有生產環(huán)境快速trouble-shooting的經驗和能力者優(yōu)先;
10.有OLAP,多維度數(shù)據分析經驗優(yōu)先,有對數(shù)據倉庫有較強的理論基礎和理解者優(yōu)先;