职位描述

职位描述：
1、负责搜索Spider系统的架构设计和核心模块开发
2、负责搜索Spider分布式计算、调度、抓取、压力控制等模块的设计开发
3、负责蜘蛛程序的开发优化，基于webkit内核的js渲染引擎
4、负责网页特征抽取，利用模版或自动化抽取网页特征
5、负责搜索Spider数据可视化，日常数据分析和监控
职位要求：
1、计算机或相关专业，本科及以上学历
2、精通C/C++语言编程，熟悉linux平台、shell编程
3、对数据结构和算法设计有较为深刻的理解
4、有大数据工作经验，熟悉hadoop/storm/spark等经验者优先
5、有搜索引擎/Spider抓取等相关经验者优先