三月的北京，天气还有些冷，望向窗外，还是一片雾霾。当时我正准备审核销售同事发的合同，企业微信却又有消息提醒，打开消息，是业务部门同事发来的问题咨询：“我们想使用爬虫软件抓取某网站收集的信息，可以吗，有哪些法律风险？”还没来得及回复一句收到，业务同事又打来企业微信语音，解释事件背景，还特意强调事情紧急性，进行简单的口头解答之后，我告知他会整理一份书面意见发他，法务的小伙伴们，即使有时候我们口头解答了业务法律问题咨询，还是建议再次出具一份书面法律意见，以便留存。基于此次事件，本文也和大家一起讨论一下爬虫技术的法律风险有哪些？

　　网络爬虫（又称蜘蛛爬虫、网络机器人），是指依据设定的条件，通过自动抓取网络中符合条件的内容，搜集、提取所需的页面数据并自动下载到本地，是一种高效率的自动化下载程序或脚本。网络爬虫具有高效、自动、技术难度低的特性。网络爬虫在爬取网页数据的过程中，会模拟真实客户不间断地向网页提交请求以获取页面数据，这就给网络通道造成严重堵塞，同时占用大量网站流量，导致无法正常返回数据，出现严重的卡顿、最终致网站瘫痪。

　　robots协议，网站所有者在置于网站根目录下的文本文件robots.txt中记录哪些网页内容不应被抓取，哪些网页内容可以抓取，以提示拟对该网站进行爬取的爬虫程序，这是对网络爬虫程序基于行业规范的一种前置约束，其只对内容进行告知，更多的是提示、引导如何访问网站、爬取数据，本身不存在禁止或阻碍爬取数据的功能。我国法院在判例中将其认作行业规则，例如的百度诉奇虎360不正当竞争案中，法院在判决中指出“在被告推出搜索引擎伊始，其网站亦刊载了robots协议的内容和设置方法，说明包括被告在内的整个互联网行业对于robots协议都是认可和遵守的。其应当被认定为行业内的通行规则，应当被认定为搜索引擎行业内公认的、应当被遵守的商业道德”。

　　由于robots协议是一种自律规范，大多数网站经营者会通过增加专门的反爬程序，防止爬虫脚本在本网站获取数据。常见的反爬措施包括：

　　(7)蜜罐技术（一种对攻击方进行欺骗的技术）等，但绕过这些反爬虫技术程序，存在较高法律风险，例如《谷米公司诉元光公司等不正当竞争纠纷案》（2017）粤03民初822号，该案中，被告需要承50万赔偿金。

　　元光公司为提高开发的智能公交APP“车来了”用户量及信息查询的准确度，聘请其他公司技术人员帮忙将谷米公司APP的加密系统攻破，并指使公司员工使用爬虫技术爬取到谷米公司“酷米客”服务器里的大量公交车行驶实时数据，在获取实时公交信息数据之后，将数据用于自己开发的智能公交APP软件并对外提供给公众进行查询。法院认为元光公司未经许可，利用网络爬虫技术大量获取并且无偿使用谷米公司“酷米客”软件的实时公交信息数据的行为具有非法占用他人无形财产权益的不正当目的，谋取该软件在实时公交信息查询软件中的竞争优势，谷米公司的上述行为违反了诚实信用原则和公认的商业道德，构成不正当竞争，最终原告获赔50万元。

　　《刑法》《网络安全法》《数据安全管理办法(征求意见稿)》《数据安全管理办法(征求意见稿)》《反不正当竞争法》对于网络运营者通过技术手段爬取数据时不得对他人产品造成不当干扰、破坏等均进行了规定。爬虫控制者如基于自身经营需要，使用爬虫技术高频率访问网页、平台，并客观导致网页或平台无法正常运行，使其他正常用户无法访问网页的，或变更了被访问网页运行逻辑和模式的，根据相关法律规定，前述行为可能会被认定为是不正当竞争行为，从而承担相应民事赔偿或行政处罚责任的法律风险；后果严重的，甚至会构成破坏计算机信息系统罪，需要承担刑事责任。

　　法院查明：张某开发一款名为“快鸽信贷系统”的软件，该软件内的“网络爬虫”功能能与深圳市居住证网站链接，可以在深圳市居住证网站上查询到房产地址、房屋编码等对应的资料，该软件对深圳市居住证网站访问量能达到每小时数十万次，以达到为其公司主营业务便捷的目的。2018年5月2日10时至5月2日12时许两小时内，该软件对深圳市居住证系统查询访问量为每秒183次，共计查询信息1510140条次并将查询的信息以阿某云网络云盘的形式保存，深圳市公安局居住证服务平台服务器遭受了该爬虫软件的自动化程序攻击，在该时段内造成系统服务器阻塞，深圳市公安局居住证服务平台无法正常对外提供服务，其他用户无法正常使用平台业务，极大地影响了该居住证系统使用方深圳市公安局人口管理处的日常运作。经过审理，法院判决被告人构成破坏计算机信息系统罪。

　　除《民法典》《网络安全法》中对公民个人信息的保护之外，违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，构成犯罪；在未经用户许可的情况下，非法获取用户的个人信息，情节严重的也将构成“侵犯公民个人信息罪”。因此无论是通过爬虫技术获取了符合刑法“公民个人信息”范围内的内容，以及转而出售给他人的行为，都可能涉嫌刑事犯罪。

　　使用网络爬虫技术爬取受著作权法保护的法律客体，对得到的数据进行非法传播，则会侵害著作权人的复制权、信息网络传播权等权利，进而对著作权人的财产权利造成损害。一旦爬虫是使用方被起诉，可能面临侵权赔偿、名誉损失等网站经营过程中，严重者可能侵犯著作权甚至涉嫌“侵犯著作权罪”。

　　鼎阅公司自2018年开始，在覃某某等12名被告人负责管理或参与运营下，未经掌阅科技股份有限公司、北京幻想纵横网络技术有限公司等权利公司许可，利用网络爬虫技术爬取正版电子图书后，在其推广运营的“鸿雁传书”“TXT全本免费小说”等10余个App中展示，供他人访问并下载阅读，并通过广告收入、付费阅读等方式进行牟利。被告人覃某某等12人于2019年3月被抓获归案。公诉机关于2020年1月10日向北京知识产权法院提起公诉。最终，鼎阅公司、直接负责的主管人员覃某某等12名被告人以营利为目的，未经著作权人许可，复制发行他人享有著作权的文字作品，情节特别严重，其行为均已构成侵犯著作权罪。

　　《刑法》第二百一十九条第一款：“以盗窃、贿赂、欺诈、胁迫、电子侵入或者其他不正当手段获取权利人的商业秘密的。”第二款：“明知前款所列行为,获取、披露、使用或者允许他人使用该商业秘密的,以侵犯商业秘密论。”因此，如果爬虫使用者在抓取信息的过程中有意地规避了网站经营者设置的保护措施，接触、保存甚至披露了一般用户原本无法访问的信息，而该等信息又构成商业秘密，则爬虫控制者的该等行为存在侵犯他人商业秘密的可能，包括再次转让许可他人使用商业秘密，均有涉嫌侵犯商业秘密罪的刑事风险。

　　1. 正当地使用爬虫技术手段爬取数据。应避免强行破解/绕开网站经营者设置的数据保护措施，避免访问频率过高（超过网站日均流量三分之一），避免对网页造成破坏等。

　　2. 规范爬虫技术爬取的对象。根据robots协议、保护数据的技术措施韩国代理ip最新网站推荐、设计逻辑（验证机制、授权接口等）等要素综合判断被访问者允许被爬取的数据范围；避免未经授权（三重授权原则）爬取公民个人信息、独创性表达的作品数据、和经营者核心业务有关的数据等敏感性数据，不慎爬取到上述信息时须注意脱敏或模糊化处理。

　　毕业于兰州理工大学法学院，曾供职于某双500强车企法务部，现就职于某央企研究院所属公司法务部。擅长合同审核、法律风险防范与应对。