職位描述：

工作職責：

1、負責搜索Spider系統的基礎數據挖掘和核心技術研發

2、負責互聯網資源特征數據挖掘，包括頁面特征、站點特征、頁面價值度、熱點變化趨勢等

3、負責鏈接的反垃圾，識別無價值鏈接，控制鏈接規模

4、利用機器學習/深度學習算法建立模型，預估鏈接質量

任職要求：

1、計算機或相關專業，本科及以上學歷，2年以上工作經驗

2、精通C/C++或python語言編程，熟悉linux平臺、shell編程

3、對數據結構和算法設計有較為深刻的理解

4、熟悉搜索相關領域如：網頁抓取/頁面解析/信息挖掘/統計分析工作經驗者優先

5、有機器學習/深度學習經驗者優先

篇2:抓取工程師視頻職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責視頻爬蟲的核心技術研發

2、負責構建和優化推薦離線數據流，有機會參與推薦算法策略

3、基于算法挖掘和分析頭條作者、用戶每天產生的海量數據，輔助產品策略

任職要求：

1、具備強悍的編碼能力

2、有扎實的數據結構和算法功底

3、工作認真細致踏實，有較強的學習能力

4、熟悉linux開發環境，熟悉C++和python語言的優先

5、良好的團隊合作精神,較強的溝通能力

篇3:數據抓取資深工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責今日頭條、西瓜視頻、TopBuzz、BuzzVideo等產品的全球內容接入，通過算法智能解析各語種頁面結構，自適應提取頁面關鍵信息

2、負責全網圖文、長短視頻、SNS內容監控，對海量的站內外發文、用戶關系分析挖掘；每日處理上億條數據，提供幾十億內容在線服務

3、負責通用垂直抓取平臺建設，服務頭條、抖音等所有業務團隊，快速解決各種不同的抓取訴求，提供數據和平臺支持

4、負責項目整體架構設計與優化，主導代碼開發測試，并積極推動上線；負責初、中級工程師的培養

任職要求：

1、具備強悍的編碼能力，有扎實的數據結構和算法功底

2、精通Python、PHP、C++、Java、Golang中的至少一門語言

3、理解http、計算機網絡，熟悉HTML、DOM、XPath等

4、責任心強，積極主動，有良好的溝通能力和團隊合作能力

5、工作認真細致踏實，較強的學習能力、分析解決問題能力

6、有很好的產品意識，對業務流程有良好的抽象和總結能力