高級(jí)爬蟲(chóng)開(kāi)發(fā)工程師職責(zé)描述:

1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略?xún)?yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);

2、熟悉linux平臺(tái),熟練掌握Python或JAVA爬蟲(chóng)開(kāi)發(fā)工作;

3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);

4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);

5、具備良好的編程習(xí)慣和算法基礎(chǔ);

6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。職責(zé)描述:

1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略?xún)?yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);

2、熟悉linux平臺(tái),熟練掌握Python或JAVA爬蟲(chóng)開(kāi)發(fā)工作;

3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);

4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);

5、具備良好的編程習(xí)慣和算法基礎(chǔ);

6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。

篇2:網(wǎng)絡(luò)爬蟲(chóng)崗位職責(zé)網(wǎng)絡(luò)爬蟲(chóng)職責(zé)任職要求

網(wǎng)絡(luò)爬蟲(chóng)崗位職責(zé)

工作內(nèi)容:負(fù)責(zé)小程序搜索爬蟲(chóng)系統(tǒng)的建設(shè),包括小程序爬蟲(chóng)策略的開(kāi)發(fā),分布式爬蟲(chóng)系統(tǒng)的建設(shè),數(shù)據(jù)分析及處理等,為小程序搜索提供豐富優(yōu)質(zhì)的基礎(chǔ)數(shù)據(jù)。

任職要求:

職位要求:

具備良好的計(jì)算機(jī)基礎(chǔ),熟悉http協(xié)議,具備良好的基礎(chǔ)前端知識(shí);

有過(guò)良好的高并發(fā)系統(tǒng)的后臺(tái)開(kāi)發(fā)經(jīng)驗(yàn);

具備一定的數(shù)據(jù)處理/分析經(jīng)驗(yàn),熟悉hadoop、MapReduce、Spark等并行計(jì)算框架;

了解小程序的基礎(chǔ)框架,有實(shí)際開(kāi)發(fā)經(jīng)驗(yàn)更優(yōu);

掌握C/C++、Python等一門(mén)或多門(mén)語(yǔ)言,有nodejs開(kāi)發(fā)經(jīng)驗(yàn)更優(yōu);

如果您還具備以下技能,我們會(huì)優(yōu)先考慮:

具備網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的開(kāi)發(fā)經(jīng)驗(yàn),有反爬蟲(chóng)實(shí)踐經(jīng)驗(yàn);

具備機(jī)器學(xué)習(xí)框架的開(kāi)發(fā)使用經(jīng)驗(yàn);

熟悉傳統(tǒng)搜索引擎的SEO規(guī)則。

篇3:網(wǎng)絡(luò)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1，負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

2，對(duì)爬取的網(wǎng)頁(yè)信息進(jìn)行數(shù)據(jù)抽取，清洗和去重等工作

任職要求：

1、2年及以上網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)，本科及大專(zhuān)學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè),

2、積極、溝通順暢，工作認(rèn)真負(fù)責(zé)

3、扎實(shí)的編程能力，熟悉常用算法和數(shù)據(jù)結(jié)構(gòu)等基礎(chǔ)知識(shí)

4、熟練掌握開(kāi)發(fā)語(yǔ)言Java或C/C++，熟悉腳本語(yǔ)言和正則表達(dá)式