高級ETL工程師職責(zé)描述:

1.負(fù)責(zé)基于Spark技術(shù)的海量數(shù)據(jù)處理和建設(shè)工作;

2.參與流式數(shù)據(jù)處理系統(tǒng)的開發(fā)和維護(hù);

3.協(xié)同數(shù)據(jù)采集團(tuán)隊(duì)和數(shù)據(jù)應(yīng)用團(tuán)隊(duì)進(jìn)行系統(tǒng)和代碼間對接;

4.跟蹤新的大數(shù)據(jù)處理技術(shù),并將新的大數(shù)據(jù)處理技術(shù)應(yīng)用到醫(yī)療業(yè)務(wù)場景中;

任職要求:

1.計(jì)算機(jī)軟件相關(guān)專業(yè),本科以上學(xué)歷

2.兩年及以上spark相關(guān)開發(fā)經(jīng)驗(yàn)

3.熟練掌握java,Scala,Python,C++語言中的一種

4.熟悉Linux/Unix操作系統(tǒng)

5.熟悉MySQL/Hbase/Hive/Kafka/ElasticSearch/Redis中一種或多種技術(shù)

6.扎實(shí)的數(shù)據(jù)結(jié)構(gòu)及算法基礎(chǔ),良好的英文文檔閱讀能力

7.思路敏捷清晰,良好的語言表達(dá)和理解能力,良好的學(xué)習(xí)能力及創(chuàng)新意識

8.具有優(yōu)良的問題分析及解決能力

9.具有良好的團(tuán)隊(duì)合作精神及協(xié)調(diào)能力

職責(zé)描述:

1.負(fù)責(zé)基于Spark技術(shù)的海量數(shù)據(jù)處理和建設(shè)工作;

2.參與流式數(shù)據(jù)處理系統(tǒng)的開發(fā)和維護(hù);

3.協(xié)同數(shù)據(jù)采集團(tuán)隊(duì)和數(shù)據(jù)應(yīng)用團(tuán)隊(duì)進(jìn)行系統(tǒng)和代碼間對接;

4.跟蹤新的大數(shù)據(jù)處理技術(shù),并將新的大數(shù)據(jù)處理技術(shù)應(yīng)用到醫(yī)療業(yè)務(wù)場景中;

任職要求:

1.計(jì)算機(jī)軟件相關(guān)專業(yè),本科以上學(xué)歷

2.兩年及以上spark相關(guān)開發(fā)經(jīng)驗(yàn)

3.熟練掌握java,Scala,Python,C++語言中的一種

4.熟悉Linux/Unix操作系統(tǒng)

5.熟悉MySQL/Hbase/Hive/Kafka/ElasticSearch/Redis中一種或多種技術(shù)

6.扎實(shí)的數(shù)據(jù)結(jié)構(gòu)及算法基礎(chǔ),良好的英文文檔閱讀能力

7.思路敏捷清晰,良好的語言表達(dá)和理解能力,良好的學(xué)習(xí)能力及創(chuàng)新意識

8.具有優(yōu)良的問題分析及解決能力

9.具有良好的團(tuán)隊(duì)合作精神及協(xié)調(diào)能力

篇2:中級ETL工程師崗位職責(zé)

中級ETL工程師比孚科技上海比孚信息科技有限公司,比孚,比孚科技,比孚職位描述:

1.負(fù)責(zé)數(shù)據(jù)倉庫/數(shù)據(jù)集市ETL設(shè)計(jì)開發(fā);

2.負(fù)責(zé)與業(yè)務(wù)部門數(shù)據(jù)需求的溝通與確認(rèn);

任職資格:

1.三以上工作經(jīng)驗(yàn);

2.熟悉主流ETL開發(fā)工具,如:SSIS、Kettle、Datastage等;

3.熟練掌握主流數(shù)據(jù)庫的使用,如:SQLServer、Mysql、Oracle,對SQL查詢優(yōu)化有豐富的經(jīng)驗(yàn);

4.熟悉主流報(bào)表工具,如:Tableau、PowerBi、Cognos;

5.良好的溝通技能,清晰的邏輯思維能力;

6.工作認(rèn)真仔細(xì),積極主動,具備較強(qiáng)的自主學(xué)習(xí)、自我總結(jié)能力。

篇3:ETL數(shù)據(jù)工程師崗位職責(zé)任職要求

ETL數(shù)據(jù)工程師崗位職責(zé)

崗位職責(zé):

1.參與金融大數(shù)據(jù)研發(fā);

2.參與數(shù)據(jù)倉庫ETL流程的優(yōu)化及解決ETL相關(guān)技術(shù)問題;

3.負(fù)責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率;

4.設(shè)計(jì)并實(shí)現(xiàn)對機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘的系統(tǒng)性支持;

崗位要求:

1.計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷;

2.具備良好的編程習(xí)慣,熟悉常用的數(shù)據(jù)結(jié)構(gòu)和算法;

3.熟練掌握PHP/Python/java任一語言;

4.具備良好的數(shù)據(jù)庫理論基礎(chǔ)知識,較強(qiáng)的sql書寫能力,熟練使用MySQL/postgres等數(shù)據(jù)庫;

5.有數(shù)據(jù)處理,ETL流程優(yōu)化實(shí)戰(zhàn)經(jīng)驗(yàn),熟悉kettle/informatica等抽取工具;

6.有使用kafka,storm,sparkstreaming實(shí)時數(shù)據(jù)處理系統(tǒng)建設(shè)經(jīng)驗(yàn)優(yōu)先。

ETL數(shù)據(jù)工程師崗位