互联网充斥着来自搜索引擎、虚拟助理和聊天机器人等来源的自动化流量。但是，在高效的自动化流量的对立面是恶意爬虫程序——恶意攻击者使用这些软件程序来自动发起攻击。

　　Forrester最新发布的报告指出，“为了应对这些最为复杂的爬虫程序，安全专业人员需要爬虫程序管理工具来对检测方法进行分层（比如针对用户行为的统计分析）、收集生物统计信息以检测异常以及不断更新信誉评分。”

　　对此，环球网科技记者就“爬虫的识别和管理”采访了Akamai中国区企业事业部总经理何铭（Jerry He）和Akamai大中华区产品市场经理刘炅（John Liu）。

　　Akamai大中华区产品市场经理刘炅指出，互联网流量中有40%的流量是bot（机器爬虫或自动化软件）产生的，其中包括恶意爬虫和善意爬虫，前者是通过远程自动化的方式，经过互联网对目标的站点和网站进行攻击，以达到一些商业化的欺诈目的；后者指的是利用类似搜索引擎的软件做一些增加搜索流量的工作。

　　恶意爬虫的影响不能小觑，以游戏和电商行业为例，如果一些账号经常被恶意盗用或复制，用户的抱怨和投诉便会增多，最终会对企业造成经济上损失。Ponemon Institute的调查显示，由爬虫引起的“撞库”攻击每年会给企业带来高达270万美元的损失，因此，对于企业而言，善意爬虫和恶意爬虫的区分就显得格外重要。刘炅对记者表示，善意爬虫其实有迹可循，“针对搜索引擎发出的爬虫，我们可以定位它们的指纹脚本特征。另外，作为全球最大的智能边缘平台，Akamai本身已具备威胁情报及数据，可以据此判别爬虫来源是有效IP还是恶意IP。恶意爬虫也有自己的特征，比如较高的爬取频率和在单位时间内的较高抓取次数。”

　　在刘炅看来，爬虫的攻击演进大概分为四个阶段，“从简单的IP、浏览器到模仿人的行为，爬虫现在已发展到第四个阶段，呈现分布式的攻击特点——即利用更多的僵尸网络发起攻击，伴随更多的拟人行为。”对此，Akamai开发出Bot Manager（爬虫管理器）解决方案，用于帮助企业管理和甄别爬虫流量。

　　就在三月，Akamai对Bot Manager进行了升级，此举更注重攻防能力的提升。具体而言，首先抖音ip地址代理软件有哪些，新的产品更新提供了更多和更精准的爬虫检测方法。例如，POW（Proof of Work）挑战检测方法可以在防护设备或防护端对网页的请求端发出挑战，通过检测请求端的回应，可以精准地检测“幕后操作手”是爬虫还是真人。第二个特色是基于人工智能的评分机制，新的Bot Manager可以利用Akamai的云端数据和威胁情报对爬虫流量进行自动评分，并根据这些分值进行更细粒度的防护。第三，新的Bot Manager增加了很多场景的支持，尤其是对于跨域的场景支持。最后，新的Bot Manager可以和Akamai的mPulse产品（主要对于真实用户的检测）进行集成，进而对爬虫对网站性能产生的影响进行可视化展现。

　　Akamai中国区企业事业部总经理何铭告诉记者：“准确来讲，爬虫会影响所有的行业，只要跟互联网相关的企业都会受到影响。”从行业分布影响角度来看，金融行业是第一重灾区，因为金融行业的每一位客户对攻击者而言都是高价值资产。其次，由于电商几乎覆盖了人们日常生活的方方面面，所以电商行业受到的爬虫攻击亦很频繁，而攻击则有可能导致整个电商网站的交易失败，更可怕的是当电商跟支付系统捆绑在一起，网络欺诈也会发生。再次，媒体行业也是爬虫攻击的主要目标，特别是爬虫伪造信息从而影响舆论，会对社会造成很重大的影响。最后，网络游戏里的每一个帐号或多或少都会存在虚拟装备，一旦游戏被爬虫攻击，玩家的虚拟资产便有可能被盗取，而这也直接影响游戏平台的信誉。

　　“所以，只要与互联网相关的企业就一定要有爬虫防范意识，要随时随地去甄别这些爬虫，并及时拦截恶意爬虫流量。”对此何铭给出了自己的具体建议，“虽然很多企业都设有首席安全官职位，但爬虫管理需要企业的综合考量，而不是仅依靠某一个特定部门或职位。另外，管理爬虫要考虑一些深层次的影响，因为爬虫的攻击方式一直在变，企业需要一个很有经验的厂商来帮助制订应对策略。”

　　值得关注的是，随着全球范围内居家办公成为一种主流方式，办公地点的变化对于网络攻击和防护而言也产生了新的问题。

　　对此，何铭表示，“从网络环境的安全性来讲，企业办公场所通常比居家好。因此，员工居家办公对于那些平日就躲在暗处的攻击者，意味着更容易找到安全漏洞。另一方面，远程办公让企业对于突发事件的反应和处理不如以往及时，因此攻击者就更容易采取更恶劣的手段。所以，在当前情况下，企业更要加强安全防护。”

　　“原来企业的办公环境可能是一个内网，而现在办公室就是互联网，这是一个最大的变化。随着工作地点的分散，企业的业务系统便暴露在互联网之上。这样就会衍生出更多基于恶意爬虫的攻击方法，企业需要让安全管理人员乃至所有员工重视自身的网络安全。”刘炅进一步补充道，“就Akamai来讲，我们会针对各个企业安排相对应的服务团队进行7×24小时的值守，同时应用各种先进技术全方位保护企业免遭攻击。”