首頁 > 制度大全 > DW數(shù)據(jù)倉庫ETL工程師職位描述與崗位職責(zé)任職要求

DW數(shù)據(jù)倉庫ETL工程師職位描述與崗位職責(zé)任職要求

2024-07-26 閱讀 3810

職位描述

職責(zé)描述

1.負(fù)責(zé)數(shù)據(jù)倉庫開發(fā)需求收集和分析;

2.負(fù)責(zé)數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計(jì)和開發(fā);

3.負(fù)責(zé)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā);

4.負(fù)責(zé)對公司數(shù)據(jù)倉庫平臺整體架構(gòu)改進(jìn)與流程優(yōu)化;

5.負(fù)責(zé)BI報(bào)表開發(fā)和優(yōu)化。

任職資格

1.2年以上數(shù)據(jù)倉庫工作經(jīng)驗(yàn);

2.熟悉數(shù)據(jù)庫、ETL、BI建模等工具;

3.良好編程習(xí)慣,以及較強(qiáng)的學(xué)習(xí)能力和溝通能力。

篇2:數(shù)據(jù)倉庫研發(fā)工程師崗位職責(zé)

搜狗金融-數(shù)據(jù)倉庫研發(fā)工程師-北京-02173(MJ001926)搜狗北京搜狗科技發(fā)展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責(zé):

1、數(shù)據(jù)倉庫、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計(jì)

2、數(shù)據(jù)倉庫ETL規(guī)則設(shè)計(jì)和開發(fā)

3、利用HQL進(jìn)行數(shù)據(jù)清洗,根據(jù)應(yīng)用場景建立數(shù)據(jù)集市。

4、數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入,建表,日常任務(wù)跑批,日志監(jiān)控。

5、數(shù)據(jù)倉庫需求調(diào)研和需求分析

任職條件:

1、熟悉python,熟練使用shell編程解決數(shù)據(jù)清洗;

2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發(fā)經(jīng)驗(yàn);

3、熟悉數(shù)據(jù)倉庫建模理論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu),精通3NF和多維數(shù)據(jù)模型設(shè)計(jì);

4、具備大中型數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、ETL設(shè)計(jì)的相關(guān)經(jīng)驗(yàn);

5、具備海量數(shù)據(jù)處理、有性能調(diào)優(yōu)經(jīng)、金融、電商、電信、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)模型經(jīng)驗(yàn)者優(yōu)先

這是一款定位于服務(wù)平臺互聯(lián)網(wǎng)用戶的金融產(chǎn)品,由搜狗公司內(nèi)部孵化,深度挖掘搜狗在互聯(lián)網(wǎng)端的用戶規(guī)模優(yōu)勢以及多年的大數(shù)據(jù)能力積累。在當(dāng)下大熱的互聯(lián)網(wǎng)金融領(lǐng)域,搜狗將發(fā)揮用戶服務(wù)和智能算法優(yōu)勢,并結(jié)合平臺的綜合運(yùn)營實(shí)力。

篇3:BI數(shù)據(jù)倉庫工程師崗位職責(zé)

BI工程師-數(shù)據(jù)倉庫涂鴉智能杭州涂鴉科技有限公司,涂鴉智能,愛相機(jī)崗位職責(zé):

1.負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)調(diào)研、需求理解,數(shù)據(jù)采集方案設(shè)計(jì)及實(shí)現(xiàn);

2.負(fù)責(zé)建立數(shù)據(jù)模型,根據(jù)業(yè)務(wù)設(shè)計(jì)數(shù)據(jù)主題;

3.負(fù)責(zé)數(shù)據(jù)模型的ETL編寫,參與團(tuán)隊(duì)ETL流程的優(yōu)化及解決ETL相關(guān)技術(shù)問題;

4.理解業(yè)務(wù)方的數(shù)據(jù)需求,提供面向業(yè)務(wù)的OLAP、報(bào)表、數(shù)據(jù)提取等數(shù)據(jù)服務(wù);

任職要求:

1.本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),2-5年企業(yè)級數(shù)據(jù)平臺相關(guān)系統(tǒng)開發(fā)經(jīng)驗(yàn);

2.SQL技能嫻熟,精通hive-sql,presto-sql

3.具有扎實(shí)的計(jì)算機(jī)操作系統(tǒng)、數(shù)據(jù)結(jié)構(gòu)等編程基礎(chǔ),熟悉Java或scala語言;

4.有過2年以上bi項(xiàng)目經(jīng)驗(yàn),熟悉開源的bi工具如:metabase,superset,redash.有實(shí)際操作經(jīng)驗(yàn)。

7.有良好的溝通能力,善于主動思考和行動,有極強(qiáng)的責(zé)任心和自驅(qū)力。