高級資深ETL工程師職位描述與崗位職責任職要求
職位描述:
崗位職能:
1.基于公司數據建設需要,完成數據平臺構建、數據內容開發等工作。包括:數據平臺基礎設施建設、數據采集、ETL、數倉及數據集市、數據應用產品等開發工作;
2.充分理解需求文檔,基于此進行自測,交付高質量的開發代碼和數據內容;
3.工作中對數據平臺基礎設施、數據內容建設等工作主動深度思考,提升效能并積極建言、促進組織和系統發展;
4.其他根據部門需要安排事宜;
崗位要求:
1.信息技術類、數學、統計學、計量經濟學類專業,研究生及以上學歷。優秀候選人學歷可以放寬至本科,工作年限5年以上;
2.熟悉數據倉庫模型設計和精通ETL開發經驗,掌握3NF,Kimball的維度建模設計方法,具備海量數據加工處理(ETL)相關經驗;
3.掌握至少一種數據庫開發技術:Oracle、Teradata、DB2、Mysql等,精通并靈活運用SQL實現海量數據ETL加工處理;
4.熟悉Linux系統常規shell處理命令,靈活運用shell做的文本處理和系統操作;
5.有從事分布式數據存儲與計算平臺應用開發經驗,熟悉Hadoop生態相關技術并有相關實踐經驗著優先,重點考察Hdfs、Hive(HQL)、Hbase;
6.熟練掌握一門或多門編程語言,并有大型項目建設經驗者優先,重點考察Python、Perl、java;
7.熟悉數據倉庫領域知識和技能者優先,包括但不局限于:數據開發測試工具與方法、數據質量等;
8.良好的語言溝通與表達能力和自我驅動動力。
篇2:中級ETL工程師崗位職責
中級ETL工程師比孚科技上海比孚信息科技有限公司,比孚,比孚科技,比孚職位描述:
1.負責數據倉庫/數據集市ETL設計開發;
2.負責與業務部門數據需求的溝通與確認;
任職資格:
1.三以上工作經驗;
2.熟悉主流ETL開發工具,如:SSIS、Kettle、Datastage等;
3.熟練掌握主流數據庫的使用,如:SQLServer、Mysql、Oracle,對SQL查詢優化有豐富的經驗;
4.熟悉主流報表工具,如:Tableau、PowerBi、Cognos;
5.良好的溝通技能,清晰的邏輯思維能力;
6.工作認真仔細,積極主動,具備較強的自主學習、自我總結能力。
篇3:ETL數據工程師崗位職責任職要求
ETL數據工程師崗位職責
崗位職責:
1.參與金融大數據研發;
2.參與數據倉庫ETL流程的優化及解決ETL相關技術問題;
3.負責數據基礎架構的升級和優化,不斷提升系統的穩定性和效率;
4.設計并實現對機器學習、數據挖掘的系統性支持;
崗位要求:
1.計算機相關專業,本科及以上學歷;
2.具備良好的編程習慣,熟悉常用的數據結構和算法;
3.熟練掌握PHP/Python/java任一語言;
4.具備良好的數據庫理論基礎知識,較強的sql書寫能力,熟練使用MySQL/postgres等數據庫;
5.有數據處理,ETL流程優化實戰經驗,熟悉kettle/informatica等抽取工具;
6.有使用kafka,storm,sparkstreaming實時數據處理系統建設經驗優先。
ETL數據工程師崗位