職位描述：

工作職責：

1、負責數據架構設計，包括定義數據的存儲、集成、應用，支撐測試業務運營和數據分析類需求實現；

2、制定集成測試領域的數據體系化管理措施，包括數據標準、數據質量、數據安全、元數據設計等工作，確保數據可信與安全；

3、基于行業數據積累，滿足業務的數據挖掘需求，實現從數據到資產的轉變，根據目標行業建立具有前瞻性的數據模型；

4、應用先進的統計建模、數據挖掘、機器學習方法建立數據模型解決實際問題，并研發創新方法以解決常規算法不能解決的問題；

5、對各產品的數據安全負責，主導制定和實施數據庫系統安全策略，保證整體方案數據安全；

任職要求：

業務技能要求：

1、深入理解云化、PaaS、數據技術，在參與過的系統設計中，至少涉及兩項關鍵技術；

2、精通或者熟悉Hadoop體系架構，以及HDFS/HBase/MapReduce/Spark/Storm等技術，有直接的產品設計與開發及部署經驗；

3、熟悉常見RDBMS（Oracle/PostgreSQL/MySql）和NoSQL（Redis/Memcached/MongoDB）的使用及開發，熟悉與架構設計相關的數據存儲、性能調優等相關領域知識，有相關項目經驗尤佳；

4、熟悉業界常用的數據采集、集成、數據存儲、計算、數據模型、數據分析的技術方案，具有數據分析或數據挖掘相關經驗；

5、精通大數據領域如洞察、用戶畫像等完整想，具備一定的后臺搭建、數據收集分析、數據挖掘與算法處理經驗者優先；

6、有阿里或騰訊相關開發經驗優先;

專業知識要求：

1、具備數據治理的知識與體系方案，包含政策、組織、角色、流程、規范等，以及規劃相應的支撐方案。了解業界的數據管理方法論；

2、具備數據Usecase設計和開發能力。能夠基于業務相關數據進行業務需求分析和痛點識別，將業務需求轉化為數據的需求，完成數據UseCase的設計和開發；

3、具備數據建模能力。能夠基于數據知識將業務需求轉化為對數據與建模的需求，使用常用的數理統計/算法模型解決業務問題，可對算法模型進行評估與優化；

4、熟悉政務、工業、交通、醫療等業務，精通數據倉庫、數據集市的構建流程。

篇2:數據架構師崗位工作職責

1、深入理解MDM主數據管理思想和流程;

2、理解業務數據、主數據與元數據的區別與關系;

3、參與過數據模型的設計與開發;

4、深入理解數據清洗,標準化,轉換,匹配,數據質量、安全管理的原理和業務流程;

5、參與過數據ETL開發與設計;

6、熟練運用主流DBMS,nosql數據庫。

篇3:大數據系統架構師崗位職責大數據系統架構師職責任職要求

大數據系統架構師崗位職責

職責描述:

1.負責客戶業務需求、數據分析需求的調研、收集與分析;

2.負責Kyligence大數據平臺整體架構和數據架構設計,根據具體業務需求和產品對數據模型進行統一分析和規劃;

3.負責技術設計及技術實現規范編制,指導開發團隊進行項目設計、項目實現及技術匯報;

4.負責項目重難點模塊的功能設計和難點攻堅;

5.參與大數據平臺的應用設計、開發、測試及優化工作。

任職要求:

1.計算機相關專業,本科及以上學歷;

2.有5年以上工作經驗,3年以上數據倉庫架構和大數據系統設計經驗;

3.精通Hadoop、Hive、HBase原理及優化,熟悉大數據生態技術圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規模集群架構設計、開發及管理經驗;

4.熟練使用SQL語言,掌握Oracle、DB2、GP、MySQL等至少兩種數據庫系統的使用,有較好的SQL性能調優經驗;

5.至少熟悉Java,Scala,Python,Shell等編程語言中的2種;

6.熟悉數據治理及應用,元數據管理的設計與應用;

7.熟悉數據倉庫模型的設計,分層設計原理,并結合大數據技術組建解決模型應用的問題;

8.優秀的分析和解決問題的能力,對挑戰性問題充滿激情;

9.具備良好的文檔撰寫能力和技術團隊管理能力;

10.具備良好的團隊合作精神,較強的溝通能力,具備良好的技術領導能力;

11.有Hive數據倉庫或者ApacheKylin的開發經驗者優先考慮;