職位描述：

職責(zé)描述：

1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)相關(guān)建設(shè)；2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于Hadoop生態(tài)系統(tǒng)和MPP數(shù)據(jù)庫(kù)的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，提供可靠的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力；3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能；5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估，參與開發(fā)流程的討論與優(yōu)化；6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施；7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作；

8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；

任職要求：

1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)，帶領(lǐng)過(guò)10人以上的大數(shù)據(jù)團(tuán)隊(duì)；2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，負(fù)責(zé)過(guò)海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì)；3、熟悉大數(shù)據(jù)開發(fā)框架，熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺(tái)如，如storm,flunk,sparkstreaming等之一；4、熟悉Greenplum等數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，并有廣泛的實(shí)踐經(jīng)驗(yàn)，具備維護(hù)和解決生產(chǎn)問(wèn)題的能力；5、熟悉掌握分布式存儲(chǔ)和NoSQL數(shù)據(jù)庫(kù)技術(shù)（如MonogoDB、Redis等），有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn)；6、熟練掌握java，python，scalar中的至少一種編程語(yǔ)言，掌握常見的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開發(fā)等知識(shí)，熟悉常用設(shè)計(jì)模式;7、理解SOA，微服務(wù)，中間件等PAAS相關(guān)的關(guān)鍵理念與技術(shù)，并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn)，樂(lè)于。8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。

篇2:大數(shù)據(jù)工程師崗位工作職責(zé)

簡(jiǎn)介:大數(shù)據(jù)(bigdata),指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)工程師職位描述(模板一)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)分析、加工、清洗、處理程序的開發(fā);

2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;

3.負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺(tái)的搭建、開發(fā)、維護(hù)、優(yōu)化;

4.對(duì)業(yè)務(wù)部門的數(shù)據(jù)分析需求給予實(shí)現(xiàn)與支持;

5.對(duì)公司的“數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)”的業(yè)務(wù)目標(biāo)進(jìn)行大數(shù)據(jù)架構(gòu)方案實(shí)現(xiàn)。

任職要求:

1.計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,3年以上Java開發(fā)工作經(jīng)驗(yàn),學(xué)習(xí)能力突出;

2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見項(xiàng)目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark、MapReduce開發(fā)經(jīng)驗(yàn),有實(shí)際大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)優(yōu)先;

3.熟練掌握Oracle、MySql等主流數(shù)據(jù)庫(kù);

4.精通JAVA,熟悉基于J2EE的WEB架構(gòu)設(shè)計(jì),熟悉Web開發(fā)流程,有豐富的WebMVC(Struts/SpringMVC、Spring,Hibernate/Mybatis等)開發(fā)經(jīng)驗(yàn);

5.熟悉Linu*/Uni*系統(tǒng)環(huán)境下的操作;熟悉Tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;

6.具有良好的溝通能力、組織能力及團(tuán)隊(duì)協(xié)作精神,有較強(qiáng)的分析和解決問(wèn)題的能力。

大數(shù)據(jù)工程師職位描述(模板二)

崗位職責(zé):

1.大數(shù)據(jù)平臺(tái)功能規(guī)劃、設(shè)計(jì);

2.大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、研發(fā);

3.大數(shù)據(jù)平臺(tái)實(shí)施、數(shù)據(jù)接入。

任職要求:

1.統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計(jì)學(xué)相關(guān)專業(yè)畢業(yè);

2.具有扎實(shí)的Java基礎(chǔ),精通SQL、mysql以及2年以上軟件開發(fā)經(jīng)驗(yàn);

3.熟悉HADOOP平臺(tái)架構(gòu),有hadooop、HBase、Hive、Spark、kafka使用經(jīng)驗(yàn);

4.熟練Python進(jìn)行數(shù)據(jù)處理,網(wǎng)頁(yè)爬取;

5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識(shí)別經(jīng)驗(yàn)優(yōu)先。

大數(shù)據(jù)工程師職位描述(模板三)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、設(shè)計(jì)、優(yōu)化和落地;

2.負(fù)責(zé)數(shù)據(jù)ETL開發(fā)、數(shù)據(jù)平臺(tái)建設(shè)、設(shè)計(jì)并實(shí)現(xiàn)對(duì)BI分析、數(shù)據(jù)產(chǎn)品開發(fā)。

任職要求:

1.985院校計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷;

2.有較扎實(shí)的數(shù)據(jù)倉(cāng)庫(kù)理論基礎(chǔ),對(duì)數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗(yàn);

3.有Hadoop、Hive、Spark、Impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)工程師職位描述(模板四)

崗位職責(zé):

1.主要負(fù)責(zé)電信業(yè)務(wù)的大數(shù)據(jù)開發(fā)工作;

2.結(jié)合業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)分析場(chǎng)景,并形成后臺(tái)實(shí)現(xiàn)方案,獨(dú)立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運(yùn)營(yíng)指標(biāo);

3.對(duì)產(chǎn)品全生命周期跟進(jìn),協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。

任職要求:

1.計(jì)算機(jī)或者相關(guān)專業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗(yàn);

2.熟練掌握java開發(fā)語(yǔ)言,熟悉多線程和線程調(diào)優(yōu),如懂scala開發(fā)更佳;

3.熟悉Linu*服務(wù)器環(huán)境、熟悉shell;

4.熟悉分布式系統(tǒng)、集群管理、SOA架構(gòu)等相關(guān)技術(shù),熟悉hadooponyarn集群部署和工作原理,熟練掌握MR開發(fā),有大型集群開發(fā)運(yùn)維經(jīng)驗(yàn)更佳;

5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、Ngin*、zookeeper、redis、kafka、storm、spark、es、爬蟲;

6.具有良好的溝通能力和團(tuán)隊(duì)精神,具有良好的抗壓能力。

大數(shù)據(jù)工程師職位描述(模板五)

崗位職責(zé):

1.負(fù)責(zé)大數(shù)據(jù)處理平臺(tái)應(yīng)用的開發(fā)工作;

2.利用Hadoopyarn/Storm/Spark進(jìn)行開發(fā)、存儲(chǔ)、分布式計(jì)算應(yīng)用的代碼實(shí)現(xiàn);

3.優(yōu)化Hadoopyarn/Storm/Spark參數(shù),實(shí)現(xiàn)系統(tǒng)調(diào)優(yōu),滿足行業(yè)應(yīng)用的實(shí)時(shí)大數(shù)據(jù)處理需求;

4.學(xué)習(xí)新技術(shù),提高整個(gè)平臺(tái)的計(jì)算能力和效率;

5.開發(fā)基于HIVE、Hbase、ES等數(shù)據(jù)處理方式的腳本程序。

任職要求:

1.3年以上Hadoop/Storm/Spark開發(fā)經(jīng)驗(yàn),對(duì)分布式、并行計(jì)算理論有深刻理解;

2.精通java/scala/python任一語(yǔ)言;

3.對(duì)Hadoop/Storm/Spark源碼有研究,有大數(shù)據(jù)平臺(tái)開發(fā)工作經(jīng)驗(yàn)者優(yōu)先;

4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;

5.具有較好的溝通協(xié)調(diào)能力、團(tuán)隊(duì)合作能力、文檔編寫能力。

篇3:貴金屬大數(shù)據(jù)工程師崗位職責(zé)

大數(shù)據(jù)工程師工作職責(zé):

1.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)框架的研發(fā)設(shè)計(jì)工作。

2.通過(guò)對(duì)貴金屬業(yè)務(wù)規(guī)則的理解,完成對(duì)數(shù)據(jù)的分析和處理。

3.開發(fā)數(shù)據(jù)后臺(tái),將數(shù)據(jù)分析結(jié)果呈現(xiàn)到前端。

任職要求:

1.全日制本科以上學(xué)歷,計(jì)算機(jī),數(shù)學(xué)或統(tǒng)計(jì)相關(guān)專業(yè)。

2.有數(shù)據(jù)分析,數(shù)據(jù)處理等相關(guān)領(lǐng)域的工作經(jīng)驗(yàn)。

3.有PB級(jí)別的文本數(shù)據(jù)的清洗和處理經(jīng)驗(yàn)。

4.熟悉常用的大數(shù)據(jù)技術(shù)。如:sparkstreaming,hbase,kafka等。

5.熟悉Java開發(fā)語(yǔ)言。