ETL工程師(中級(jí)數(shù)據(jù)倉(cāng)庫(kù)工程師)職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建模和ETL技術(shù)工作,參與數(shù)據(jù)項(xiàng)目各類數(shù)據(jù)源ETL的接口設(shè)計(jì)和文檔、流程規(guī)范;
2、負(fù)責(zé)項(xiàng)目中數(shù)據(jù)清洗、數(shù)據(jù)處理、數(shù)據(jù)校驗(yàn)相關(guān)開發(fā)工作;
3.配合使用主流數(shù)據(jù)挖掘工具、ETL工具、BI展現(xiàn)的設(shè)計(jì)和開發(fā);
4、能夠按照公司全面質(zhì)量管理的要求,高質(zhì)量地完成各類技術(shù)支持工作。
任職要求:
1.計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷,3年以上工作經(jīng)驗(yàn);
2.熟悉ETL開發(fā)、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)流程,熟悉MySql、Oracle,MSSQLServer等主流數(shù)據(jù)庫(kù),表結(jié)構(gòu)設(shè)計(jì),存儲(chǔ)過(guò)程編寫;
3.有一定的SQL調(diào)優(yōu)知識(shí)和經(jīng)驗(yàn),具有BI相關(guān)知識(shí);
4.有hana、hive經(jīng)驗(yàn)優(yōu)先;
5.具備財(cái)務(wù)基礎(chǔ)知識(shí)或者ERP基礎(chǔ)知識(shí)者優(yōu)先;
篇2:數(shù)據(jù)倉(cāng)庫(kù)研發(fā)工程師崗位職責(zé)
搜狗金融-數(shù)據(jù)倉(cāng)庫(kù)研發(fā)工程師-北京-02173(MJ001926)搜狗北京搜狗科技發(fā)展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責(zé):
1、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計(jì)
2、數(shù)據(jù)倉(cāng)庫(kù)ETL規(guī)則設(shè)計(jì)和開發(fā)
3、利用HQL進(jìn)行數(shù)據(jù)清洗,根據(jù)應(yīng)用場(chǎng)景建立數(shù)據(jù)集市。
4、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)導(dǎo)入,建表,日常任務(wù)跑批,日志監(jiān)控。
5、數(shù)據(jù)倉(cāng)庫(kù)需求調(diào)研和需求分析
任職條件:
1、熟悉python,熟練使用shell編程解決數(shù)據(jù)清洗;
2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發(fā)經(jīng)驗(yàn);
3、熟悉數(shù)據(jù)倉(cāng)庫(kù)建模理論,了解數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層架構(gòu),精通3NF和多維數(shù)據(jù)模型設(shè)計(jì);
4、具備大中型數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、ETL設(shè)計(jì)的相關(guān)經(jīng)驗(yàn);
5、具備海量數(shù)據(jù)處理、有性能調(diào)優(yōu)經(jīng)、金融、電商、電信、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)模型經(jīng)驗(yàn)者優(yōu)先
這是一款定位于服務(wù)平臺(tái)互聯(lián)網(wǎng)用戶的金融產(chǎn)品,由搜狗公司內(nèi)部孵化,深度挖掘搜狗在互聯(lián)網(wǎng)端的用戶規(guī)模優(yōu)勢(shì)以及多年的大數(shù)據(jù)能力積累。在當(dāng)下大熱的互聯(lián)網(wǎng)金融領(lǐng)域,搜狗將發(fā)揮用戶服務(wù)和智能算法優(yōu)勢(shì),并結(jié)合平臺(tái)的綜合運(yùn)營(yíng)實(shí)力。
篇3:倉(cāng)庫(kù)開發(fā)工程師崗位職責(zé)
數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師同程藝龍同程網(wǎng)絡(luò)科技股份有限公司,同程旅游,同程藝龍,同程職責(zé)描述:
1、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計(jì)
2、數(shù)據(jù)倉(cāng)庫(kù)ETL規(guī)則設(shè)計(jì)和開發(fā)數(shù)據(jù)倉(cāng)庫(kù)需求調(diào)研和需求分析
3.業(yè)務(wù)模型抽象、數(shù)據(jù)模型設(shè)計(jì)開發(fā)
4.支持業(yè)務(wù)的數(shù)據(jù)需求,跟分析師一起完善業(yè)務(wù)的數(shù)據(jù)分析體系和工具
5.ETL、數(shù)據(jù)應(yīng)用和服務(wù)的設(shè)計(jì)開發(fā)
6.積累數(shù)據(jù)生產(chǎn)、分析工具,不斷提高數(shù)據(jù)生產(chǎn)效率
7.實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、開發(fā)與服務(wù)
任職要求:
1、1年以上數(shù)據(jù)倉(cāng)庫(kù)開發(fā)和架構(gòu)經(jīng)驗(yàn),深刻理解數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用設(shè)計(jì)原理和實(shí)踐;
3、精通數(shù)據(jù)庫(kù)索引和sql語(yǔ)句的優(yōu)化,和服務(wù)器的性能參數(shù)調(diào)整
4、熟練一種以上主流ETL工具和BI工具
5、能根據(jù)業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)模型,掌握多種數(shù)據(jù)倉(cāng)或數(shù)據(jù)集市開發(fā),多維分析相關(guān)技術(shù)和OLAP前端展現(xiàn)工具;
6、有互聯(lián)網(wǎng)旅游數(shù)據(jù)倉(cāng)庫(kù)經(jīng)驗(yàn)者優(yōu)先;有處理實(shí)時(shí)數(shù)據(jù)經(jīng)驗(yàn)者優(yōu)先;
7、強(qiáng)烈責(zé)任心,開放的性格,良好的溝通能力;較強(qiáng)的分析問(wèn)題、解決問(wèn)題能力,良好的溝通能力、團(tuán)隊(duì)精神。
8、有一個(gè)以上企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目設(shè)計(jì)經(jīng)驗(yàn),精通數(shù)據(jù)倉(cāng)庫(kù)架構(gòu),熟悉數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的實(shí)施流程;