首頁 > 制度大全 > 高級資深ETL工程師職位描述與崗位職責任職要求

高級資深ETL工程師職位描述與崗位職責任職要求

2024-07-26 閱讀 1933

職位描述

崗位職能:

1.基于公司數據建設需要,完成數據平臺構建、數據內容開發等工作。包括:數據平臺基礎設施建設、數據采集、ETL、數倉及數據集市、數據應用產品等開發工作;

2.充分理解需求文檔,基于此進行自測,交付高質量的開發代碼和數據內容;

3.工作中對數據平臺基礎設施、數據內容建設等工作主動深度思考,提升效能并積極建言、促進組織和系統發展;

4.其他根據部門需要安排事宜;

崗位要求

1.信息技術類、數學、統計學、計量經濟學類專業,研究生及以上學歷。優秀候選人學歷可以放寬至本科,工作年限5年以上;

2.熟悉數據倉庫模型設計和精通ETL開發經驗,掌握3NF,Kimball的維度建模設計方法,具備海量數據加工處理(ETL)相關經驗;

3.掌握至少一種數據庫開發技術:Oracle、Teradata、DB2、Mysql等,精通并靈活運用SQL實現海量數據ETL加工處理;

4.熟悉Linux系統常規shell處理命令,靈活運用shell做的文本處理和系統操作;

5.有從事分布式數據存儲與計算平臺應用開發經驗,熟悉Hadoop生態相關技術并有相關實踐經驗著優先,重點考察Hdfs、Hive(HQL)、Hbase;

6.熟練掌握一門或多門編程語言,并有大型項目建設經驗者優先,重點考察Python、Perl、java;

7.熟悉數據倉庫領域知識和技能者優先,包括但不局限于:數據開發測試工具與方法、數據質量等;

8.良好的語言溝通與表達能力和自我驅動動力。

篇2:中級ETL工程師崗位職責

中級ETL工程師比孚科技上海比孚信息科技有限公司,比孚,比孚科技,比孚職位描述:

1.負責數據倉庫/數據集市ETL設計開發;

2.負責與業務部門數據需求的溝通與確認;

任職資格:

1.三以上工作經驗;

2.熟悉主流ETL開發工具,如:SSIS、Kettle、Datastage等;

3.熟練掌握主流數據庫的使用,如:SQLServer、Mysql、Oracle,對SQL查詢優化有豐富的經驗;

4.熟悉主流報表工具,如:Tableau、PowerBi、Cognos;

5.良好的溝通技能,清晰的邏輯思維能力;

6.工作認真仔細,積極主動,具備較強的自主學習、自我總結能力。

篇3:ETL數據工程師崗位職責任職要求

ETL數據工程師崗位職責

崗位職責:

1.參與金融大數據研發;

2.參與數據倉庫ETL流程的優化及解決ETL相關技術問題;

3.負責數據基礎架構的升級和優化,不斷提升系統的穩定性和效率;

4.設計并實現對機器學習、數據挖掘的系統性支持;

崗位要求:

1.計算機相關專業,本科及以上學歷;

2.具備良好的編程習慣,熟悉常用的數據結構和算法;

3.熟練掌握PHP/Python/java任一語言;

4.具備良好的數據庫理論基礎知識,較強的sql書寫能力,熟練使用MySQL/postgres等數據庫;

5.有數據處理,ETL流程優化實戰經驗,熟悉kettle/informatica等抽取工具;

6.有使用kafka,storm,sparkstreaming實時數據處理系統建設經驗優先。

ETL數據工程師崗位