數(shù)據(jù)開(kāi)發(fā)架構(gòu)師數(shù)據(jù)開(kāi)發(fā)架構(gòu)師

Base:杭州工作年限:五年以上所屬部門:數(shù)據(jù)中臺(tái)

層級(jí)對(duì)標(biāo):P7

崗位描述:

1.為行業(yè)客戶提供專業(yè)的數(shù)據(jù)采集、接入、計(jì)算、數(shù)據(jù)應(yīng)用技術(shù)架構(gòu);

2.針對(duì)實(shí)際的數(shù)據(jù)業(yè)務(wù)場(chǎng)景述求,能支持售前業(yè)務(wù)架構(gòu)師,分析用戶需求,并提供有前瞻性的大數(shù)據(jù)解決方案;

3.與應(yīng)用開(kāi)發(fā)或者產(chǎn)品團(tuán)隊(duì)協(xié)作,整理和規(guī)范數(shù)據(jù)模型和體系,進(jìn)行數(shù)據(jù)聯(lián)調(diào)工作,部署數(shù)據(jù)任務(wù),完成交付工作;

4.在客戶現(xiàn)場(chǎng)發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問(wèn)題,推動(dòng)客戶整體數(shù)據(jù)質(zhì)量提升,并且在必要時(shí)候承擔(dān)核心開(kāi)發(fā)工作。

崗位要求:

1.五年以上數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn),熟練使用標(biāo)準(zhǔn)SQL語(yǔ)言,熟悉Python、Java開(kāi)發(fā)語(yǔ)言優(yōu)先;

2.使用過(guò)開(kāi)源Hadoop/Hive分布式大數(shù)據(jù)處理平臺(tái),熟悉MapReduce/Spark開(kāi)發(fā)框架優(yōu)先;

3.熟練掌握Spark或Flink等流計(jì)算開(kāi)發(fā)技術(shù),熟悉Java開(kāi)發(fā)語(yǔ)言和HBase數(shù)據(jù)庫(kù),有實(shí)時(shí)數(shù)據(jù)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn);

4.對(duì)于崗位要求2和3只要求掌握任何一個(gè),要么具備超大規(guī)模離線數(shù)據(jù)開(kāi)發(fā)技能,要么具備實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)技能,熟悉兩者更好;

5.對(duì)于分布式、可擴(kuò)展、高可用、高內(nèi)聚低耦合等大數(shù)據(jù)技術(shù)中間件需要有所了解。

6.熟練掌握數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)及ETL模型設(shè)計(jì);

7.需要具備很強(qiáng)的責(zé)任心,做事細(xì)致、嚴(yán)謹(jǐn),同時(shí)需要具備較強(qiáng)的溝通和快速學(xué)習(xí)能力,充滿激情,樂(lè)于接受挑戰(zhàn),可培養(yǎng)和帶動(dòng)其他團(tuán)隊(duì)成員努力前行;

8.對(duì)互聯(lián)網(wǎng)、零售、工業(yè)、物聯(lián)網(wǎng)、政府等行業(yè)數(shù)據(jù)應(yīng)用有經(jīng)驗(yàn)者優(yōu)先;

9.能夠接受出差。數(shù)據(jù)開(kāi)發(fā)架構(gòu)師

Base:杭州工作年限:五年以上所屬部門:數(shù)據(jù)中臺(tái)

層級(jí)對(duì)標(biāo):P7

崗位描述:

1.為行業(yè)客戶提供專業(yè)的數(shù)據(jù)采集、接入、計(jì)算、數(shù)據(jù)應(yīng)用技術(shù)架構(gòu);

2.針對(duì)實(shí)際的數(shù)據(jù)業(yè)務(wù)場(chǎng)景述求,能支持售前業(yè)務(wù)架構(gòu)師,分析用戶需求,并提供有前瞻性的大數(shù)據(jù)解決方案;

3.與應(yīng)用開(kāi)發(fā)或者產(chǎn)品團(tuán)隊(duì)協(xié)作,整理和規(guī)范數(shù)據(jù)模型和體系,進(jìn)行數(shù)據(jù)聯(lián)調(diào)工作,部署數(shù)據(jù)任務(wù),完成交付工作;

4.在客戶現(xiàn)場(chǎng)發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問(wèn)題,推動(dòng)客戶整體數(shù)據(jù)質(zhì)量提升,并且在必要時(shí)候承擔(dān)核心開(kāi)發(fā)工作。

崗位要求:

1.五年以上數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn),熟練使用標(biāo)準(zhǔn)SQL語(yǔ)言,熟悉Python、Java開(kāi)發(fā)語(yǔ)言優(yōu)先;

2.使用過(guò)開(kāi)源Hadoop/Hive分布式大數(shù)據(jù)處理平臺(tái),熟悉MapReduce/Spark開(kāi)發(fā)框架優(yōu)先;

3.熟練掌握Spark或Flink等流計(jì)算開(kāi)發(fā)技術(shù),熟悉Java開(kāi)發(fā)語(yǔ)言和HBase數(shù)據(jù)庫(kù),有實(shí)時(shí)數(shù)據(jù)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn);

4.對(duì)于崗位要求2和3只要求掌握任何一個(gè),要么具備超大規(guī)模離線數(shù)據(jù)開(kāi)發(fā)技能,要么具備實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)技能,熟悉兩者更好;

5.對(duì)于分布式、可擴(kuò)展、高可用、高內(nèi)聚低耦合等大數(shù)據(jù)技術(shù)中間件需要有所了解。

6.熟練掌握數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)及ETL模型設(shè)計(jì);

7.需要具備很強(qiáng)的責(zé)任心,做事細(xì)致、嚴(yán)謹(jǐn),同時(shí)需要具備較強(qiáng)的溝通和快速學(xué)習(xí)能力,充滿激情,樂(lè)于接受挑戰(zhàn),可培養(yǎng)和帶動(dòng)其他團(tuán)隊(duì)成員努力前行;

8.對(duì)互聯(lián)網(wǎng)、零售、工業(yè)、物聯(lián)網(wǎng)、政府等行業(yè)數(shù)據(jù)應(yīng)用有經(jīng)驗(yàn)者優(yōu)先;

9.能夠接受出差。

篇2:數(shù)據(jù)架構(gòu)師崗位工作職責(zé)

1、深入理解MDM主數(shù)據(jù)管理思想和流程;

2、理解業(yè)務(wù)數(shù)據(jù)、主數(shù)據(jù)與元數(shù)據(jù)的區(qū)別與關(guān)系;

3、參與過(guò)數(shù)據(jù)模型的設(shè)計(jì)與開(kāi)發(fā);

4、深入理解數(shù)據(jù)清洗,標(biāo)準(zhǔn)化,轉(zhuǎn)換,匹配,數(shù)據(jù)質(zhì)量、安全管理的原理和業(yè)務(wù)流程;

5、參與過(guò)數(shù)據(jù)ETL開(kāi)發(fā)與設(shè)計(jì);

6、熟練運(yùn)用主流DBMS,nosql數(shù)據(jù)庫(kù)。

篇3:大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責(zé)大數(shù)據(jù)系統(tǒng)架構(gòu)師職責(zé)任職要求

大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責(zé)

職責(zé)描述:

1.負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;

2.負(fù)責(zé)Kyligence大數(shù)據(jù)平臺(tái)整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計(jì),根據(jù)具體業(yè)務(wù)需求和產(chǎn)品對(duì)數(shù)據(jù)模型進(jìn)行統(tǒng)一分析和規(guī)劃;

3.負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制,指導(dǎo)開(kāi)發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);

4.負(fù)責(zé)項(xiàng)目重難點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);

5.參與大數(shù)據(jù)平臺(tái)的應(yīng)用設(shè)計(jì)、開(kāi)發(fā)、測(cè)試及優(yōu)化工作。

任職要求:

1.計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷;

2.有5年以上工作經(jīng)驗(yàn),3年以上數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)和大數(shù)據(jù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);

3.精通Hadoop、Hive、HBase原理及優(yōu)化,熟悉大數(shù)據(jù)生態(tài)技術(shù)圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規(guī)模集群架構(gòu)設(shè)計(jì)、開(kāi)發(fā)及管理經(jīng)驗(yàn);

4.熟練使用SQL語(yǔ)言,掌握Oracle、DB2、GP、MySQL等至少兩種數(shù)據(jù)庫(kù)系統(tǒng)的使用,有較好的SQL性能調(diào)優(yōu)經(jīng)驗(yàn);

5.至少熟悉Java,Scala,Python,Shell等編程語(yǔ)言中的2種;

6.熟悉數(shù)據(jù)治理及應(yīng)用,元數(shù)據(jù)管理的設(shè)計(jì)與應(yīng)用;

7.熟悉數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì),分層設(shè)計(jì)原理,并結(jié)合大數(shù)據(jù)技術(shù)組建解決模型應(yīng)用的問(wèn)題;

8.優(yōu)秀的分析和解決問(wèn)題的能力,對(duì)挑戰(zhàn)性問(wèn)題充滿激情;

9.具備良好的文檔撰寫能力和技術(shù)團(tuán)隊(duì)管理能力;

10.具備良好的團(tuán)隊(duì)合作精神,較強(qiáng)的溝通能力,具備良好的技術(shù)領(lǐng)導(dǎo)能力;

11.有Hive數(shù)據(jù)倉(cāng)庫(kù)或者ApacheKylin的開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;