職位描述：

工作職責：

負責競品數據的抓取、分析

負責商業產品中的定價策略模塊(SEO排名)

負責帶領相關同事構建爬蟲規范，設計和開發分布式的網絡爬蟲應用，進行互聯網相關信息的抓取和分析；

職位要求：

1.計算機、信息技術或相關專業本科或以上學歷；

2.2年以上爬蟲工作經驗、3個以上實際項目經驗

3.精通python開發，理解并掌握Scrapy及Scrapy-redis；

4.對采集規則，對反爬、加解密、代理等關鍵技術有深度理解

5.熟練使用redis、mq、mongodb、mysql等常用技術

6.有良好的合作意識和自我驅動力，能主動承擔模糊任務,抗壓能力

加分項:

1.熟悉主流搜索引擎的搜索算法

2.獨立負責項目

3.帶過團隊

篇2:高級Python工程師／爬蟲／Spider職位描述與崗位職責任職要求

職位描述：

工作內容：

1、基礎系統架構、模塊、庫和組件的研發；

2、分布式海量數據存儲和分析系統的研發和調優；

3、統計分析、報表、SaaS業務等系統研發；

4、CRM、財務結算、工作流等內部管理系統的研發。

能力要求：

1、至少使用PHP/Java/Python等一門以上語言，開發過不算太小的項目；

2、熟悉數據結構、DB、OS、Web開發等相關知識，對Linux相關的各類技術情有獨鐘；

3、有大規模、高性能互聯網網站系統相關的設計和開發經驗者優先；

4、具備良好的學習能力和成長潛力，渴望和團隊一起快速成長。

篇3:python爬蟲工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責設計和開發分布式網絡爬蟲系統，進行多平臺信息的抓取和分析工作；

2、負責網頁信息和APP數據抽取、清洗、消重等工作，提升平臺的抓取效率；

3、參與爬蟲核心算法和策略優化，熟悉采集系統的調度策略；

4、實時監控爬蟲的進度和警報反饋。

任職要求：

1、有扎實的算法和數據結構能力；

2、熟悉爬蟲原理，熟悉常見的反爬蟲技術，有爬蟲相關項目開發經驗者優先；

3、掌握http協議，熟悉html、dom、xpath等常見的數據抽取技術；

4、有大規模數據處理、數據挖掘、信息提取等經驗者優先。