職責描述：

大數據開發

1，本科或以上學歷，計算機專業，3年以上大數據項目開發經驗。

2，具有Hadoop/Spark開發與應用經驗，有較大規模的項目經歷并應用在生產環境

3，熟悉hbase、hive、YARN、Storm、Pig、zookeeper等大數據相關工具，并有處理TB級以上數據的項目經驗

4，具有獨立完成從方案選型設計到原型系統開發實現的能力

5，有較強的溝通表達能力，善于學習，能迅速理解產品需求；有較強的責任心和事業心，能夠自我驅動

6，熟悉docker/impala/elasticsearch/mongodb等技術的優先

崗位要求：

學歷要求：大專

語言要求：不限

年齡要求：不限

工作年限：不限

篇2:Java大數據崗位工作職責

簡介:Java大數據是對大量、動態、能持續的數據,通過運用新系統、新工具、新模型的挖掘,從而獲得具有洞察力和新價值的東西。

Java大數據職位描述(模板一)

崗位職責:

1.參與指標系統的建設;

2.基于大數據離線+實時分析日志,進行數據挖掘;

3.自助分析,關聯分析系統的構建;

4.數據開放網關。

任職資格:

1.本科以上學歷,3年以上Java軟件開發工作經驗,有互聯網經驗;

2.熟悉Java開發,熟練掌握各類常用數據結構和相關算法;

3.至少熟悉一種關系型數據庫如Oracle、mysql等,熟練掌握Hive/SQL,熟悉Hadoop/Map-Reduce/MPI分布式計算框架,有海量數據處理經驗者優先;

4.有大數據建模、大數據存儲方面設計,并有大數據分析處理實際項目經驗優先;

5.喜歡專研技術、有獨立探索技術的能力,有開源項目經驗者優先;

6.扎實的數據結構及算法基礎,有良好的代碼書寫、注釋和單元測試習慣;

7.對技術充滿熱情,具備良好的溝通能力、強烈的責任心和團隊合作精神;可以獨立帶領團隊完成項目需求者優先。

Java大數據職位描述(模板二)

崗位職責:

1.根據要求,負責公司數據平臺的方案設計并主導方案的實現;

2.負責公司數據平臺各類數據的存儲優化、維護及建模等工作;

3.負責算法設計,并推動實現和驗證;

4.負責編寫相關技術文檔。

任職要求:

1.本科及以上學歷,計算機相關專業,兩年以上后端服務系統相關實戰經驗;

2.對大數據系統、云服務系統有一定了解,有企業大數據服務的互聯網從業經歷者優先;

3.擁有扎實的編程能力,熟練掌握常見數據結構,掌握Java常用框架和開發模式;

4.熟悉Spring、MyBatis等開源框架,了解其工作原理;熟悉微服務開發;

5.熟練掌握常見SQL、NoSQL數據庫原理、數據庫設計、查詢編寫和優化;

6.熟悉Hadoop、Hive、Spark、ElasticSearch、Lucene、Kafka等數據和搜索系統;

7.邏輯分析能力強,善于溝通,有良好的團隊合作精神,良好的學習能力。

Java大數據職位描述(模板三)

崗位職責:

1.負責基于Spark的大數據和機器學習產品架構設計、研發;

2.完善和優化系統處理能力和準確性;

3.根據產品和項目需求,完成相應的技術文檔編寫;

4.按要求完成代碼的單元測試和承擔必要的代碼檢查工作。

任職要求:

1.開發3年以上經驗;

2.本科及以上學歷,熟悉linu*開發環境;

3.精通Spark、Scala,有互聯網大數據平臺開發經驗。掌握hadoop相關技術棧,如Hive、Hbase、kafka、flume、mahout等;

4.有hadoop/Spark調優、機器學習經驗;

5.精通Java語言,熟悉設計模式;了解多線程、異步通信處理等;

6.了解大數據處理及分布式管理前沿技術(包括Hadoop、MapReduce、Spark、ZooKeeper等開源框架);

7.良好的溝通技能,團隊合作能力,曾做過分布式系統開發的優先考慮。

篇3:大數據工程師崗位工作職責

簡介:大數據(bigdata),指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據工程師職位描述(模板一)

崗位職責:

1.負責數據分析、加工、清洗、處理程序的開發;

2.從事海量數據分析、挖掘相關工作;

3.負責大數據相關平臺的搭建、開發、維護、優化;

4.對業務部門的數據分析需求給予實現與支持;

5.對公司的“數據驅動運營”的業務目標進行大數據架構方案實現。

任職要求:

1.計算機相關專業,本科及以上學歷,3年以上Java開發工作經驗,學習能力突出;

2.熟悉hadoop生態系統內常見項目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark、MapReduce開發經驗,有實際大數據項目經驗優先;

3.熟練掌握Oracle、MySql等主流數據庫;

4.精通JAVA,熟悉基于J2EE的WEB架構設計,熟悉Web開發流程,有豐富的WebMVC(Struts/SpringMVC、Spring,Hibernate/Mybatis等)開發經驗;

5.熟悉Linu*/Uni*系統環境下的操作;熟悉Tomcat等應用服務器的配置和優化;

6.具有良好的溝通能力、組織能力及團隊協作精神,有較強的分析和解決問題的能力。

大數據工程師職位描述(模板二)

崗位職責:

1.大數據平臺功能規劃、設計;

2.大數據平臺的設計、研發;

3.大數據平臺實施、數據接入。

任職要求:

1.統招本科及以上學歷,計算機科學、軟件工程、數學、統計學相關專業畢業;

2.具有扎實的Java基礎,精通SQL、mysql以及2年以上軟件開發經驗;

3.熟悉HADOOP平臺架構,有hadooop、HBase、Hive、Spark、kafka使用經驗;

4.熟練Python進行數據處理,網頁爬取;

5.有非結構化數據解析、識別經驗優先。

大數據工程師職位描述(模板三)

崗位職責:

1.負責數據倉庫建設、設計、優化和落地;

2.負責數據ETL開發、數據平臺建設、設計并實現對BI分析、數據產品開發。

任職要求:

1.985院校計算機相關專業本科以上學歷;

2.有較扎實的數據倉庫理論基礎,對數據模型建設、應用層建設有比較豐富的經驗;

3.有Hadoop、Hive、Spark、Impala等大數據技術使用經驗者優先。

大數據工程師職位描述(模板四)

崗位職責:

1.主要負責電信業務的大數據開發工作;

2.結合業務需求設計數據分析場景,并形成后臺實現方案,獨立完成業務數據建模,并將結果轉化為運營指標;

3.對產品全生命周期跟進,協調各種資源保證產品順利發展。

任職要求:

1.計算機或者相關專業本科及以上學歷,3年及以上相關工作經驗;

2.熟練掌握java開發語言,熟悉多線程和線程調優,如懂scala開發更佳;

3.熟悉Linu*服務器環境、熟悉shell;

4.熟悉分布式系統、集群管理、SOA架構等相關技術,熟悉hadooponyarn集群部署和工作原理,熟練掌握MR開發,有大型集群開發運維經驗更佳;

5.熟悉以下技術中3種及以上者優先考慮:hive、hbase、impala、Ngin*、zookeeper、redis、kafka、storm、spark、es、爬蟲;

6.具有良好的溝通能力和團隊精神,具有良好的抗壓能力。

大數據工程師職位描述(模板五)

崗位職責:

1.負責大數據處理平臺應用的開發工作;

2.利用Hadoopyarn/Storm/Spark進行開發、存儲、分布式計算應用的代碼實現;

3.優化Hadoopyarn/Storm/Spark參數,實現系統調優,滿足行業應用的實時大數據處理需求;

4.學習新技術,提高整個平臺的計算能力和效率;

5.開發基于HIVE、Hbase、ES等數據處理方式的腳本程序。

任職要求:

1.3年以上Hadoop/Storm/Spark開發經驗,對分布式、并行計算理論有深刻理解;

2.精通java/scala/python任一語言;

3.對Hadoop/Storm/Spark源碼有研究,有大數據平臺開發工作經驗者優先;

4.有很好的技術敏感性,良好的學習能力和吃苦耐勞能力;

5.具有較好的溝通協調能力、團隊合作能力、文檔編寫能力。