數據倉庫架構師/ETL工程師同程藝龍同程網絡科技股份有限公司,同程旅游,同程藝龍,同程位職責:

1、負責數據倉庫數據采集、處理、存儲以及挖掘分析的架構實現,負責架構設計和指導團隊落地;

2、參與數據平臺建設,包括環境和框架的規劃搭建以及部分核心編碼工作;設計并實現對BI分析、數據產品開發、算法開發的系統性支持;

3、研究未來數據模型和計算框架的創新與落地,包括但不限于以下領域:大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面。

職位要求:

1、具備5年以上DW系統建設經驗;了解數據倉庫建設過程中的挑戰與問題,有實際架構設計和數據建模經驗,有作為技術負責人系統化解決問題的成功案例;

2、有DW/BI架構體系中某些領域的專項建設經驗,包括但不限于:數據質量、元數據管理、主數據管理、數據監控、流計算、分布式計算、分布式文件系統、分布式存儲、大規模數據實時化、跨平臺資源調度;

3、熟悉hadoop生態圈,包括但不限于:hadoop、hive、storm、spark、dremel、kylin等;

4、有海量數據建模實踐經驗優先。

篇2:數據倉庫研發工程師崗位職責

搜狗金融-數據倉庫研發工程師-北京-02173(MJ001926)搜狗北京搜狗科技發展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責:

1、數據倉庫、數據集市的數據模型設計

2、數據倉庫ETL規則設計和開發

3、利用HQL進行數據清洗,根據應用場景建立數據集市。

4、數據倉庫數據導入,建表,日常任務跑批,日志監控。

5、數據倉庫需求調研和需求分析

任職條件:

1、熟悉python,熟練使用shell編程解決數據清洗;

2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發經驗;

3、熟悉數據倉庫建模理論,了解數據倉庫數據分層架構,精通3NF和多維數據模型設計;

4、具備大中型數據倉庫架構設計、模型設計、ETL設計的相關經驗;

5、具備海量數據處理、有性能調優經、金融、電商、電信、互聯網行業數據模型經驗者優先

這是一款定位于服務平臺互聯網用戶的金融產品,由搜狗公司內部孵化,深度挖掘搜狗在互聯網端的用戶規模優勢以及多年的大數據能力積累。在當下大熱的互聯網金融領域,搜狗將發揮用戶服務和智能算法優勢,并結合平臺的綜合運營實力。

篇3:倉庫開發工程師崗位職責

數據倉庫開發工程師同程藝龍同程網絡科技股份有限公司,同程旅游,同程藝龍,同程職責描述:

1、數據倉庫、數據集市的數據模型設計

2、數據倉庫ETL規則設計和開發數據倉庫需求調研和需求分析

3.業務模型抽象、數據模型設計開發

4.支持業務的數據需求,跟分析師一起完善業務的數據分析體系和工具

5.ETL、數據應用和服務的設計開發

6.積累數據生產、分析工具,不斷提高數據生產效率

7.實時數據倉庫設計、開發與服務

任職要求:

1、1年以上數據倉庫開發和架構經驗,深刻理解數據倉庫應用設計原理和實踐;

3、精通數據庫索引和sql語句的優化,和服務器的性能參數調整

4、熟練一種以上主流ETL工具和BI工具

5、能根據業務需求設計數據倉庫模型,掌握多種數據倉或數據集市開發,多維分析相關技術和OLAP前端展現工具;

6、有互聯網旅游數據倉庫經驗者優先;有處理實時數據經驗者優先;

7、強烈責任心,開放的性格,良好的溝通能力;較強的分析問題、解決問題能力,良好的溝通能力、團隊精神。

8、有一個以上企業級數據倉庫項目設計經驗,精通數據倉庫架構,熟悉數據倉庫項目的實施流程;