互联网充斥着来自搜索引擎、虚拟助理和聊天机器人等来源的自动化流量。但是，在高效的自动化流量的对立面是恶意爬虫程序——恶意攻击者使用这些软件程序来自动发起攻击。

　　Forrester最新发布的报告指出，“为了应对这些最为复杂的爬虫程序，安全专业人员需要爬虫程序管理工具来对检测方法进行分层（比如针对用户行为的统计分析）、收集生物统计信息以检测异常以及不断更新信誉评分。”

　　对此，环球网科技记者就“爬虫的识别和管理”采访了Akamai中国区企业事业部总经理何铭（Jerry He）和Akamai大中华区产品市场经理刘炅（John Liu）。

　　Akamai大中华区产品市场经理刘炅指出，互联网流量中有40%的流量是bot（机器爬虫或自动化软件）产生的，其中包括恶意爬虫和善意爬虫，前者是通过远程自动化的方式，经过互联网对目标的站点和网站进行攻击，以达到一些商业化的欺诈目的；后者指的是利用类似搜索引擎的软件做一些增加搜索流量的工作。

　　恶意爬虫的影响不能小觑，以游戏和电商行业为例，如果一些账号经常被恶意盗用或复制，用户的抱怨和投诉便会增多，最终会对企业造成经济上损失。Ponemon Institute的调查显示，由爬虫引起的“撞库”攻击每年会给企业带来高达270万美元的损失，因此，对于企业而言，善意爬虫和恶意爬虫的区分就显得格外重要。刘炅对记者表示，善意爬虫其实有迹可循，“针对搜索引擎发出的爬虫，我们可以定位它们的指纹脚本特征。另外，作为全球最大的智能边缘平台，Akamai本身已具备威胁情报及数据，可以据此判别爬虫来源是有效IP还是恶意IP。恶意爬虫也有自己的特征，比如较高的爬取频率和在单位时间内的较高抓取次数。”

　　在刘炅看来，爬虫的攻击演进大概分为四个阶段，“从简单的IP、浏览器到模仿人的行为，爬虫现在已发展到第四个阶段，呈现分布式的攻击特点——即利用更多的僵尸网络发起攻击，伴随更多的拟人行为。”对此，Akamai开发出Bot Manager（爬虫管理器）解决方案，用于帮助企业管理和甄别爬虫流量。

　　就在三月，Akamai对Bot Manager进行了升级，此举更注重攻防能力的提升。具体而言，首先，新的产品更新提供了更多和更精准的爬虫检测方法。例如，POW（Proof of Work）挑战检测方法可以在防护设备或防护端对网页的请求端发出挑战，通过检测请求端的回应，可以精准地检测“幕后操作手”是爬虫还是真人。第二个特色是基于人工智能的评分机制，新的Bot Manager可以利用Akamai的云端数据和威胁情报对爬虫流量进行自动评分，并根据这些分值进行更细粒度的防护。第三，新的Bot Manager增加了很多场景的支持，尤其是对于跨域的场景支持。最后，新的Bot Manager可以和Akamai的mPulse产品（主要对于真实用户的检测）进行集成，进而对爬虫对网站性能产生的影响进行可视化展现。

　　Akamai中国区企业事业部总经理何铭告诉记者：“准确来讲，爬虫会影响所有的行业，只要跟互联网相关的企业都会受到影响。”从行业分布影响角度来看，金融行业是第一重灾区，因为金融行业的每一位客户对攻击者而言都是高价值资产。其次，由于电商几乎覆盖了人们日常生活的方方面面，所以电商行业受到的爬虫攻击亦很频繁，而攻击则有可能导致整个电商网站的交易失败，更可怕的是当电商跟支付系统捆绑在一起，网络欺诈也会发生。再次，媒体行业也是爬虫攻击的主要目标，特别是爬虫伪造信息从而影响舆论，会对社会造成很重大的影响。最后，网络游戏里的每一个帐号或多或少都会存在虚拟装备，一旦游戏被爬虫攻击，玩家的虚拟资产便有可能被盗取，而这也直接影响游戏平台的信誉。

　　“所以，只要与互联网相关的企业就一定要有爬虫防范意识如何把代理设置国外的ip，要随时随地去甄别这些爬虫，并及时拦截恶意爬虫流量。”对此何铭给出了自己的具体建议，“虽然很多企业都设有首席安全官职位，但爬虫管理需要企业的综合考量，而不是仅依靠某一个特定部门或职位。另外，管理爬虫要考虑一些深层次的影响，因为爬虫的攻击方式一直在变，企业需要一个很有经验的厂商来帮助制订应对策略。”

　　值得关注的是，随着全球范围内居家办公成为一种主流方式，办公地点的变化对于网络攻击和防护而言也产生了新的问题。

　　对此，何铭表示，“从网络环境的安全性来讲，企业办公场所通常比居家好。因此，员工居家办公对于那些平日就躲在暗处的攻击者，意味着更容易找到安全漏洞。另一方面，远程办公让企业对于突发事件的反应和处理不如以往及时，因此攻击者就更容易采取更恶劣的手段。所以，在当前情况下，企业更要加强安全防护。”

　　“原来企业的办公环境可能是一个内网，而现在办公室就是互联网，这是一个最大的变化。随着工作地点的分散，企业的业务系统便暴露在互联网之上。这样就会衍生出更多基于恶意爬虫的攻击方法，企业需要让安全管理人员乃至所有员工重视自身的网络安全。”刘炅进一步补充道，“就Akamai来讲，我们会针对各个企业安排相对应的服务团队进行7×24小时的值守，同时应用各种先进技术全方位保护企业免遭攻击。”