職位描述：

工作職責:

1.數據采集系統和分布式爬蟲系統的架構設計和開發

2.對接外部數據服務商提供的數據及資訊服務，實現數據的有效沉淀，建立數據服務評估機制

3.負責大規模文本、圖像、視頻數據的抓取、抽取，去重、分類，垃圾過濾，質量識別等工作

4.研究各種目標網站的形態，互聯網特征挖掘，發現它們的特點和規律

任職資格:

1.基本功扎實，熟練使用常用數據結構和相關算法，精通javaio、多線程、集合等

2.熟悉緩存、消息機制、并發框架,異步框架等

3.熟悉Internet基本協議（如TCP/IP.HTTP等）

4.熟悉HTML/DOM/XPATH/CSS，對DOM有一定的功底能夠熟練使用頁面分析工具等進行網頁分析，有模擬登錄，模擬瀏覽器、APP抓取經驗優先

5.有Nutch、Heritrix、Scrapy等系統使用經驗，或二次開發經驗者優先

6.有基于網頁結構的自動識別抽取算法，結構化結果的經驗者優先

7.對有可視化采集，基于JS的自動規則生成，分布式采集的經驗者優先

8.有從事輿情社交數據及熱點采集分析等的工作經驗者優先

篇2:數據采集工程師（核心層）職位描述與崗位職責任職要求

職位描述：

職責描述：

1.負責Linux平臺下應用軟件開發，根據產品與項目要求，開展模塊設計.編碼等工作；

2.負責linux軟件的交叉編譯與移植；

3.參與需求分析.軟件設計.開發.調試以及測試維護全過程；

4.負責協同硬件工程師或第三方方案商完成系統功能模塊的聯調及功能對接.接口文文件輸出；

5.負責嵌入式系統軟件平臺搭建工作；

任職要求：

1.本科（含）以上學歷，熟悉Linux開發環境，熟悉C/C++或Python等；

2.熟悉嵌入式Linux+QT應用程序圖形接口開發；

3.了解網絡編程.多進程，多線程，熟悉MQTT/SOCKET，TCP/IP等通訊協議；

4.有ARM.MIPS系列產品開發經驗優先；

5.具有較好的溝通能力.團隊合作能力；

篇3:數據采集工程師（核心層）職位描述與崗位職責任職要求

職位描述：

職責描述：

1.嵌入式bootloader,kernel開發；

2.工業通訊協議解析(Modbus.EtherCAT.ProfitNet等)；

3.Windows/Linux平臺網關應用層程序開發；

4.網關產品的軟件功能測試驗證；

5.工業網關產品軟件SDK及Library開發。

任職要求：

1.本科（含）以上學歷，熟練使用辦公軟件；

2.熟練運用C/C++開發語言；

3.熟悉工業現場數據傳輸協議；

4.熟悉Windows.Linux開發平臺；

5.性格開朗，邏輯思維較強。