網(wǎng)絡(luò)爬蟲崗位職責

工作內(nèi)容:負責小程序搜索爬蟲系統(tǒng)的建設(shè),包括小程序爬蟲策略的開發(fā),分布式爬蟲系統(tǒng)的建設(shè),數(shù)據(jù)分析及處理等,為小程序搜索提供豐富優(yōu)質(zhì)的基礎(chǔ)數(shù)據(jù)。

任職要求:

職位要求:

具備良好的計算機基礎(chǔ),熟悉http協(xié)議,具備良好的基礎(chǔ)前端知識;

有過良好的高并發(fā)系統(tǒng)的后臺開發(fā)經(jīng)驗;

具備一定的數(shù)據(jù)處理/分析經(jīng)驗,熟悉hadoop、MapReduce、Spark等并行計算框架;

了解小程序的基礎(chǔ)框架,有實際開發(fā)經(jīng)驗更優(yōu);

掌握C/C++、Python等一門或多門語言,有nodejs開發(fā)經(jīng)驗更優(yōu);

如果您還具備以下技能,我們會優(yōu)先考慮:

具備網(wǎng)絡(luò)爬蟲系統(tǒng)的開發(fā)經(jīng)驗,有反爬蟲實踐經(jīng)驗;

具備機器學習框架的開發(fā)使用經(jīng)驗;

熟悉傳統(tǒng)搜索引擎的SEO規(guī)則。

篇2:網(wǎng)絡(luò)爬蟲崗位職責網(wǎng)絡(luò)爬蟲職責任職要求

網(wǎng)絡(luò)爬蟲崗位職責

工作內(nèi)容:負責小程序搜索爬蟲系統(tǒng)的建設(shè),包括小程序爬蟲策略的開發(fā),分布式爬蟲系統(tǒng)的建設(shè),數(shù)據(jù)分析及處理等,為小程序搜索提供豐富優(yōu)質(zhì)的基礎(chǔ)數(shù)據(jù)。

任職要求:

職位要求:

具備良好的計算機基礎(chǔ),熟悉http協(xié)議,具備良好的基礎(chǔ)前端知識;

有過良好的高并發(fā)系統(tǒng)的后臺開發(fā)經(jīng)驗;

具備一定的數(shù)據(jù)處理/分析經(jīng)驗,熟悉hadoop、MapReduce、Spark等并行計算框架;

了解小程序的基礎(chǔ)框架,有實際開發(fā)經(jīng)驗更優(yōu);

掌握C/C++、Python等一門或多門語言,有nodejs開發(fā)經(jīng)驗更優(yōu);

如果您還具備以下技能,我們會優(yōu)先考慮:

具備網(wǎng)絡(luò)爬蟲系統(tǒng)的開發(fā)經(jīng)驗,有反爬蟲實踐經(jīng)驗;

具備機器學習框架的開發(fā)使用經(jīng)驗;

熟悉傳統(tǒng)搜索引擎的SEO規(guī)則。

篇3:網(wǎng)絡(luò)爬蟲工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1，負責網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與開發(fā)

2，對爬取的網(wǎng)頁信息進行數(shù)據(jù)抽取，清洗和去重等工作

任職要求：

1、2年及以上網(wǎng)絡(luò)爬蟲開發(fā)經(jīng)驗，本科及大專學歷，計算機相關(guān)專業(yè),

2、積極、溝通順暢，工作認真負責

3、扎實的編程能力，熟悉常用算法和數(shù)據(jù)結(jié)構(gòu)等基礎(chǔ)知識

4、熟練掌握開發(fā)語言Java或C/C++，熟悉腳本語言和正則表達式