大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責(zé)
大數(shù)據(jù)系統(tǒng)架構(gòu)師中電科大數(shù)據(jù)研究院有限公司中電科大數(shù)據(jù)研究院有限公司,中電科大數(shù)據(jù)研究院,中電科大職責(zé)描述:
1、負(fù)責(zé)大數(shù)據(jù)系統(tǒng)的規(guī)劃和架構(gòu)設(shè)計(jì)工作,主導(dǎo)系統(tǒng)的架構(gòu)設(shè)計(jì)與核心模塊開發(fā);
2、負(fù)責(zé)研究技術(shù)發(fā)展方向,探索新技術(shù)領(lǐng)域,將新技術(shù)應(yīng)用到項(xiàng)目;
3、負(fù)責(zé)技術(shù)規(guī)范制定,指導(dǎo)開發(fā)團(tuán)隊(duì)進(jìn)行實(shí)施工作;
4、支持技術(shù)團(tuán)隊(duì)的建設(shè)與能力培養(yǎng)。
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè),碩士及以上學(xué)歷,5年以上相關(guān)工作經(jīng)驗(yàn);
2、熟悉大數(shù)據(jù)相關(guān)技術(shù),如Spark、Hadoop、Hive、HBase、Pig、Sqoop、MapReduce等,有豐富的大數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn);深刻理解大數(shù)據(jù)系統(tǒng)相關(guān)技術(shù)和實(shí)現(xiàn);
3、熟悉主流的應(yīng)用與服務(wù)開源框架,如JavaEE相關(guān)開源框架,有應(yīng)用與服務(wù)的架構(gòu)設(shè)計(jì)經(jīng)驗(yàn),熟悉設(shè)計(jì)模式,面向服務(wù)等思想并應(yīng)用到架構(gòu)設(shè)計(jì)當(dāng)中;
4、了解數(shù)據(jù)挖掘算法與自然語(yǔ)言處理者優(yōu)先;
5、熟悉項(xiàng)目管理理論,敏捷開發(fā)實(shí)踐方法,有領(lǐng)導(dǎo)技術(shù)團(tuán)隊(duì)能力者優(yōu)先;
6、邏輯思維能力嚴(yán)密,分析判斷能力強(qiáng),具備一定的獨(dú)立溝通、協(xié)調(diào)能力。
篇2:數(shù)據(jù)架構(gòu)師崗位工作職責(zé)
1、深入理解MDM主數(shù)據(jù)管理思想和流程;
2、理解業(yè)務(wù)數(shù)據(jù)、主數(shù)據(jù)與元數(shù)據(jù)的區(qū)別與關(guān)系;
3、參與過數(shù)據(jù)模型的設(shè)計(jì)與開發(fā);
4、深入理解數(shù)據(jù)清洗,標(biāo)準(zhǔn)化,轉(zhuǎn)換,匹配,數(shù)據(jù)質(zhì)量、安全管理的原理和業(yè)務(wù)流程;
5、參與過數(shù)據(jù)ETL開發(fā)與設(shè)計(jì);
6、熟練運(yùn)用主流DBMS,nosql數(shù)據(jù)庫(kù)。
篇3:大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責(zé)大數(shù)據(jù)系統(tǒng)架構(gòu)師職責(zé)任職要求
大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責(zé)
職責(zé)描述:
1.負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;
2.負(fù)責(zé)Kyligence大數(shù)據(jù)平臺(tái)整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計(jì),根據(jù)具體業(yè)務(wù)需求和產(chǎn)品對(duì)數(shù)據(jù)模型進(jìn)行統(tǒng)一分析和規(guī)劃;
3.負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制,指導(dǎo)開發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);
4.負(fù)責(zé)項(xiàng)目重難點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);
5.參與大數(shù)據(jù)平臺(tái)的應(yīng)用設(shè)計(jì)、開發(fā)、測(cè)試及優(yōu)化工作。
任職要求:
1.計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷;
2.有5年以上工作經(jīng)驗(yàn),3年以上數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)和大數(shù)據(jù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);
3.精通Hadoop、Hive、HBase原理及優(yōu)化,熟悉大數(shù)據(jù)生態(tài)技術(shù)圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規(guī)模集群架構(gòu)設(shè)計(jì)、開發(fā)及管理經(jīng)驗(yàn);
4.熟練使用SQL語(yǔ)言,掌握Oracle、DB2、GP、MySQL等至少兩種數(shù)據(jù)庫(kù)系統(tǒng)的使用,有較好的SQL性能調(diào)優(yōu)經(jīng)驗(yàn);
5.至少熟悉Java,Scala,Python,Shell等編程語(yǔ)言中的2種;
6.熟悉數(shù)據(jù)治理及應(yīng)用,元數(shù)據(jù)管理的設(shè)計(jì)與應(yīng)用;
7.熟悉數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì),分層設(shè)計(jì)原理,并結(jié)合大數(shù)據(jù)技術(shù)組建解決模型應(yīng)用的問題;
8.優(yōu)秀的分析和解決問題的能力,對(duì)挑戰(zhàn)性問題充滿激情;
9.具備良好的文檔撰寫能力和技術(shù)團(tuán)隊(duì)管理能力;
10.具備良好的團(tuán)隊(duì)合作精神,較強(qiáng)的溝通能力,具備良好的技術(shù)領(lǐng)導(dǎo)能力;
11.有Hive數(shù)據(jù)倉(cāng)庫(kù)或者ApacheKylin的開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;