職位描述：

職責(zé)：hadoop平臺(tái)功能研發(fā)，如性能優(yōu)化、身份認(rèn)證&權(quán)限控制插件等

1.修改hadoop等分布式平臺(tái)源碼，優(yōu)化數(shù)據(jù)處理邏輯；

2.針對(duì)hadoop等分布式平臺(tái)，構(gòu)建統(tǒng)一的身份認(rèn)證及權(quán)限控制系統(tǒng)；

3.動(dòng)態(tài)脫敏系統(tǒng)及安全控制策略研究及落地；

4.解析常用的大數(shù)據(jù)平臺(tái)通信協(xié)議

要求：

1.熟練掌握C/C++，JAVA中的至少一種編程語(yǔ)言;

2.熟練掌握常用大數(shù)據(jù)平臺(tái)組件的使用；

3.深入理解常用大數(shù)據(jù)平臺(tái)的架構(gòu)原理，如mr、spark、hive等;

4.熟悉TCP/IP協(xié)議棧，對(duì)常用應(yīng)用層協(xié)議如HTTP有較深理解；

5.熟悉Thrift、gRPC等rpc框架及protobuf等序列化框架;

6.熟悉常用大數(shù)據(jù)平臺(tái)的安全組件和控制策略

職位誘惑：

1.試用期薪資不打折不打折

2.公積金按定薪全額的12%繳納，全額的12%哦

3.入職即享帶薪年假

4.周末雙休

5.彈性工作制

6.大牛導(dǎo)師帶你飛

7.強(qiáng)大平臺(tái)！任你表演

8.月度團(tuán)建吃喝玩樂(lè)等你來(lái)解鎖

篇2:大數(shù)據(jù)研發(fā)崗位職責(zé)

大數(shù)據(jù)研發(fā)職位描述:

1、理解數(shù)據(jù)的產(chǎn)品應(yīng)用場(chǎng)景邏輯,通過(guò)統(tǒng)計(jì)方法和通用分布式框架工具語(yǔ)言如hadoop,不斷加強(qiáng)數(shù)據(jù)服務(wù)質(zhì)量;

2、負(fù)責(zé)數(shù)據(jù)清洗、轉(zhuǎn)換、建模等工作,對(duì)海量用戶行為數(shù)據(jù)通過(guò)hadoop/spark等進(jìn)行離線和實(shí)時(shí)處理;

3、參與用戶畫像、個(gè)性化推薦系統(tǒng)等數(shù)據(jù)產(chǎn)品的開發(fā)工作

4、參與數(shù)據(jù)、工具平臺(tái)相關(guān)的功能接口、數(shù)據(jù)接口開發(fā),完成業(yè)務(wù)功能;

崗位要求:

1、精通java或scala語(yǔ)言,具有面向?qū)ο缶幊趟枷?對(duì)底層實(shí)現(xiàn)有一定研究;

2、精通sparksql、sparkstreaming等編程,具有實(shí)際大型分布式集群項(xiàng)目開發(fā)經(jīng)驗(yàn);

3、熟悉Linux操作系統(tǒng),熟悉Linuxshell編程;

4、熟悉mysql,redis等常用數(shù)據(jù)庫(kù),jetty等中間件;

5、熟悉分布式存儲(chǔ)或NoSQL數(shù)據(jù)庫(kù)技術(shù),如hbase等;

6、熟悉Hadoop生態(tài)環(huán)境,精通以下一種或多種大數(shù)據(jù)技術(shù),如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的數(shù)據(jù)挖掘算法優(yōu)先。職位描述:

1、理解數(shù)據(jù)的產(chǎn)品應(yīng)用場(chǎng)景邏輯,通過(guò)統(tǒng)計(jì)方法和通用分布式框架工具語(yǔ)言如hadoop,不斷加強(qiáng)數(shù)據(jù)服務(wù)質(zhì)量;

2、負(fù)責(zé)數(shù)據(jù)清洗、轉(zhuǎn)換、建模等工作,對(duì)海量用戶行為數(shù)據(jù)通過(guò)hadoop/spark等進(jìn)行離線和實(shí)時(shí)處理;

3、參與用戶畫像、個(gè)性化推薦系統(tǒng)等數(shù)據(jù)產(chǎn)品的開發(fā)工作

4、參與數(shù)據(jù)、工具平臺(tái)相關(guān)的功能接口、數(shù)據(jù)接口開發(fā),完成業(yè)務(wù)功能;

崗位要求:

1、精通java或scala語(yǔ)言,具有面向?qū)ο缶幊趟枷?對(duì)底層實(shí)現(xiàn)有一定研究;

2、精通sparksql、sparkstreaming等編程,具有實(shí)際大型分布式集群項(xiàng)目開發(fā)經(jīng)驗(yàn);

3、熟悉Linux操作系統(tǒng),熟悉Linuxshell編程;

4、熟悉mysql,redis等常用數(shù)據(jù)庫(kù),jetty等中間件;

5、熟悉分布式存儲(chǔ)或NoSQL數(shù)據(jù)庫(kù)技術(shù),如hbase等;

6、熟悉Hadoop生態(tài)環(huán)境,精通以下一種或多種大數(shù)據(jù)技術(shù),如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的數(shù)據(jù)挖掘算法優(yōu)先。

篇3:高級(jí)大數(shù)據(jù)產(chǎn)品研發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé):

1.參與公司數(shù)據(jù)開發(fā)平臺(tái)、BI產(chǎn)品等大數(shù)據(jù)產(chǎn)品的設(shè)計(jì)和開發(fā);

2.負(fù)責(zé)數(shù)據(jù)開發(fā)平臺(tái)、BI產(chǎn)品等大數(shù)據(jù)產(chǎn)品的部署和維護(hù)，保證其穩(wěn)定和可靠;

3.關(guān)注和參與大數(shù)據(jù)方向開源產(chǎn)品的技術(shù)動(dòng)態(tài)與演進(jìn)，推動(dòng)產(chǎn)品與技術(shù)架構(gòu)持續(xù)更新;

任職要求:

1.計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷，5年以上軟件開發(fā)經(jīng)驗(yàn)，3年以上互聯(lián)網(wǎng)產(chǎn)品或分布式系統(tǒng)開發(fā)設(shè)計(jì)經(jīng)驗(yàn);

2.精通Java,Python,Scala等一種或幾種編程語(yǔ)言,并熟悉Linux操作系統(tǒng)及BashShell編程;

3.有Hadoop/Spark/Hive/Presto/HBase/ElasticSearch/Kafka等使用經(jīng)驗(yàn),并熟悉上述常用的分布式系統(tǒng)架構(gòu)設(shè)計(jì)和原理;

4.熟悉微服務(wù)框架及相關(guān)技術(shù),如Dubbo,SpringCloud等;

5.熟悉MySQL、Redis,并了解或接觸過(guò)其他數(shù)據(jù)庫(kù)如Oracle,SqlServer,PostgreSQL,MongoDB等;

6.了解容器技術(shù),如Docker,Kubernetes;

7.具有一定的軟件設(shè)計(jì)能力,熱愛(ài)大數(shù)據(jù)和技術(shù)，相信技術(shù)改變世界，學(xué)習(xí)能力強(qiáng)，認(rèn)同數(shù)據(jù)價(jià)值，有面向業(yè)務(wù)的思維,較強(qiáng)的自主學(xué)習(xí)能力和英文技術(shù)文檔閱讀能力;

8.良好的溝通能力、團(tuán)隊(duì)精神及服務(wù)意識(shí)，勇于接受挑戰(zhàn)，能承受較大的工作壓力;

9.有生產(chǎn)環(huán)境快速trouble-shooting的經(jīng)驗(yàn)和能力者優(yōu)先;

10.有OLAP，多維度數(shù)據(jù)分析經(jīng)驗(yàn)優(yōu)先，有對(duì)數(shù)據(jù)倉(cāng)庫(kù)有較強(qiáng)的理論基礎(chǔ)和理解者優(yōu)先;