職位描述：

工作職責：

1、參與頭條爬蟲的核心技術研發，建設平臺化服務

2、滿足業務團隊的數據需求，和業務部門一起優化數據處理流程

任職要求：

1、具備良好的編碼能力，有扎實的數據結構和算法功底

2、熟悉linux開發環境，掌握至少一門高級語言：C/C++/Python

3、理解http、計算機網絡，熟悉HTML、DOM、XPath等

4、工作認真細致踏實，較強的學習能力、分析解決問題能力

篇2:數據抓取資深工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責今日頭條、西瓜視頻、TopBuzz、BuzzVideo等產品的全球內容接入，通過算法智能解析各語種頁面結構，自適應提取頁面關鍵信息

2、負責全網圖文、長短視頻、SNS內容監控，對海量的站內外發文、用戶關系分析挖掘；每日處理上億條數據，提供幾十億內容在線服務

3、負責通用垂直抓取平臺建設，服務頭條、抖音等所有業務團隊，快速解決各種不同的抓取訴求，提供數據和平臺支持

4、負責項目整體架構設計與優化，主導代碼開發測試，并積極推動上線；負責初、中級工程師的培養

任職要求：

1、具備強悍的編碼能力，有扎實的數據結構和算法功底

2、精通Python、PHP、C++、Java、Golang中的至少一門語言

3、理解http、計算機網絡，熟悉HTML、DOM、XPath等

4、責任心強，積極主動，有良好的溝通能力和團隊合作能力

5、工作認真細致踏實，較強的學習能力、分析解決問題能力

6、有很好的產品意識，對業務流程有良好的抽象和總結能力