資深數(shù)據(jù)倉庫工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé)
1、基于公司數(shù)據(jù)建設(shè)需要,完成數(shù)據(jù)內(nèi)容開發(fā)等工作,維護與完善數(shù)據(jù)模型各類信息;
2、負責(zé)各業(yè)務(wù)線系統(tǒng)的信息調(diào)研、表與字段的關(guān)系梳理,根據(jù)業(yè)務(wù)及日常需求來優(yōu)化模型;
3、工作中對數(shù)據(jù)平臺基礎(chǔ)設(shè)施、數(shù)據(jù)內(nèi)容建設(shè)等工作主動深度思考,提升效能、促進組織和系統(tǒng)發(fā)展;
4、負責(zé)核心數(shù)據(jù)倉庫模型代碼開發(fā),跟進ETL的完成。負責(zé)接入源系統(tǒng)數(shù)據(jù)的腳本開發(fā)、數(shù)據(jù)測試與驗證、以及調(diào)度開發(fā)等工作;
5、與上游系統(tǒng)與下游應(yīng)用同事溝通協(xié)作,推動各類需求在數(shù)據(jù)模型中的落地;
6、跟蹤、監(jiān)測、維護及優(yōu)化數(shù)據(jù)模型,確保數(shù)據(jù)模型被使用。
任職資格
1、本科以上學(xué)歷,5年或以上金融行業(yè)數(shù)據(jù)類工作經(jīng)驗;
2、熟悉Hadoop生態(tài)系統(tǒng)組件,如:Hive、MapReduce、Spark、HBase等;具備編寫、優(yōu)化復(fù)雜SQL的能力;
3、負責(zé)過大型數(shù)據(jù)平臺或數(shù)據(jù)倉庫設(shè)計,具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫的理論功底;
4、掌握一定的數(shù)據(jù)質(zhì)量管理方法論、評估模型設(shè)計、質(zhì)量報表設(shè)計,能夠根據(jù)數(shù)據(jù)質(zhì)量要求制定數(shù)據(jù)質(zhì)量探查規(guī)則并進行實施;
5、掌握一定元數(shù)據(jù)管理方法論、元數(shù)據(jù)管理設(shè)計。
6、能夠圍繞業(yè)務(wù)和產(chǎn)品特征建模并解決問題;
7、具有豐富的數(shù)據(jù)實踐經(jīng)驗;
8、基于公司數(shù)據(jù)建設(shè)需要,完成數(shù)據(jù)內(nèi)容開發(fā)等工作,維護與完善數(shù)據(jù)模型各類信息。
篇2:數(shù)據(jù)倉庫研發(fā)工程師崗位職責(zé)
搜狗金融-數(shù)據(jù)倉庫研發(fā)工程師-北京-02173(MJ001926)搜狗北京搜狗科技發(fā)展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責(zé):
1、數(shù)據(jù)倉庫、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計
2、數(shù)據(jù)倉庫ETL規(guī)則設(shè)計和開發(fā)
3、利用HQL進行數(shù)據(jù)清洗,根據(jù)應(yīng)用場景建立數(shù)據(jù)集市。
4、數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入,建表,日常任務(wù)跑批,日志監(jiān)控。
5、數(shù)據(jù)倉庫需求調(diào)研和需求分析
任職條件:
1、熟悉python,熟練使用shell編程解決數(shù)據(jù)清洗;
2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發(fā)經(jīng)驗;
3、熟悉數(shù)據(jù)倉庫建模理論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu),精通3NF和多維數(shù)據(jù)模型設(shè)計;
4、具備大中型數(shù)據(jù)倉庫架構(gòu)設(shè)計、模型設(shè)計、ETL設(shè)計的相關(guān)經(jīng)驗;
5、具備海量數(shù)據(jù)處理、有性能調(diào)優(yōu)經(jīng)、金融、電商、電信、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)模型經(jīng)驗者優(yōu)先
這是一款定位于服務(wù)平臺互聯(lián)網(wǎng)用戶的金融產(chǎn)品,由搜狗公司內(nèi)部孵化,深度挖掘搜狗在互聯(lián)網(wǎng)端的用戶規(guī)模優(yōu)勢以及多年的大數(shù)據(jù)能力積累。在當(dāng)下大熱的互聯(lián)網(wǎng)金融領(lǐng)域,搜狗將發(fā)揮用戶服務(wù)和智能算法優(yōu)勢,并結(jié)合平臺的綜合運營實力。
篇3:倉庫開發(fā)工程師崗位職責(zé)
數(shù)據(jù)倉庫開發(fā)工程師同程藝龍同程網(wǎng)絡(luò)科技股份有限公司,同程旅游,同程藝龍,同程職責(zé)描述:
1、數(shù)據(jù)倉庫、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計
2、數(shù)據(jù)倉庫ETL規(guī)則設(shè)計和開發(fā)數(shù)據(jù)倉庫需求調(diào)研和需求分析
3.業(yè)務(wù)模型抽象、數(shù)據(jù)模型設(shè)計開發(fā)
4.支持業(yè)務(wù)的數(shù)據(jù)需求,跟分析師一起完善業(yè)務(wù)的數(shù)據(jù)分析體系和工具
5.ETL、數(shù)據(jù)應(yīng)用和服務(wù)的設(shè)計開發(fā)
6.積累數(shù)據(jù)生產(chǎn)、分析工具,不斷提高數(shù)據(jù)生產(chǎn)效率
7.實時數(shù)據(jù)倉庫設(shè)計、開發(fā)與服務(wù)
任職要求:
1、1年以上數(shù)據(jù)倉庫開發(fā)和架構(gòu)經(jīng)驗,深刻理解數(shù)據(jù)倉庫應(yīng)用設(shè)計原理和實踐;
3、精通數(shù)據(jù)庫索引和sql語句的優(yōu)化,和服務(wù)器的性能參數(shù)調(diào)整
4、熟練一種以上主流ETL工具和BI工具
5、能根據(jù)業(yè)務(wù)需求設(shè)計數(shù)據(jù)倉庫模型,掌握多種數(shù)據(jù)倉或數(shù)據(jù)集市開發(fā),多維分析相關(guān)技術(shù)和OLAP前端展現(xiàn)工具;
6、有互聯(lián)網(wǎng)旅游數(shù)據(jù)倉庫經(jīng)驗者優(yōu)先;有處理實時數(shù)據(jù)經(jīng)驗者優(yōu)先;
7、強烈責(zé)任心,開放的性格,良好的溝通能力;較強的分析問題、解決問題能力,良好的溝通能力、團隊精神。
8、有一個以上企業(yè)級數(shù)據(jù)倉庫項目設(shè)計經(jīng)驗,精通數(shù)據(jù)倉庫架構(gòu),熟悉數(shù)據(jù)倉庫項目的實施流程;