免费美国代理ip地址
威胁情报作为当前安全行业的一个热议话题,在国内的发展实际上还比较初级。这次我们要谈到的这家微步在线是国内第一家在做安全威胁情报的公司。
先前著名的APT攻击DarkHotel安全事件中,微步在线就抢先一步发布了战略情报分析报告,还有针对去年著名的XcodeGhost,可算当时国内唯一一份基于威胁情报的追踪溯源分析报告。
这家公司在产品布局上主要包括了威胁分析平台和威胁情报中心两大块。这次恰借用对其威胁情报产品分析的机会,我们来大致谈一谈威胁情报本身的一些特性。
在此可作简单类比:若将网络基建比作银行——银行每天都有客户进出,客户进出的这片区域就是DMZ;银行还有一些区域是只让银行职员进出的,这就是内部网络。
为了保护银行安全,还需要有保安(防火墙)、监控摄像头(IPS/IDS);在此,保护的就是银行里的钱(企业资产);银行还需要有个安全管理员,他负责协调整个安全团队,并且还能从保安、监控摄像头等处获取到安全事件更新。
这里的安全管理员实际上就是SIEM,前两天我们才报道过Gartner发布今年的SIEM魔力象限。
SIEM的全称是安全信息和事件管理,其本质是从各种安全设备获取日志、事件等数据,进行关联分析,以此来检测安全威胁和反常活动模式;并且还可以将这些信息储存起来,供以后分析使用,比如进行行为画像等。
到这里,银行算是有了基础的防御措施和设备,可以开张运营了。但要运营起来就会产生数据和人员交互。
那么如何从每日进进出出的人流中识别出可疑的人员、涉嫌洗钱的人员,甚至是来踩点的嫌疑人,以及内部人员是否有与外部可疑的联系和通讯?
在某些情况下,这可以依靠其他银行或者这些银行共享的信息和上下文背景,这些银行提供的信息可以包含其近期发生的安全事件,包括他们是如何被攻击的,攻击波及到了哪些银行,被利用的弱点在哪里,银行是怎么处理的等等。
不严谨地说,上面这些就是威胁情报。银行的安全管理员在获得这样的威胁情报后,就能即时做出调整,并通知所有银行职员和安全团队成员,还可以上报给银行更高级管理层,甚至让董事会做出相应决策。
“对敌方的情报,及其动机、企图和方法进行收集、分析和传播,帮助各个层面的安全和业务成员保护企业关键资产。”
“对敌方的情报,及其动机、企图和方法进行收集、分析和传播,帮助各个层面的安全和业务成员保护企业关键资产。”
威胁情报的目的是要减少运营风险,维持或增加企业营收。将威胁情报融合到安全的整个部署中,也就能够增强安全等级,维持业务的连续性。
- 攻击者身份:威胁情报需要能够帮助企业将攻击/恶意活动最终溯源至相应组织(网络犯罪团体、黑客、政府/国家机构等);
- 攻击的原因:了解地方动机,以及他们会在攻击中投入多少精力(APT或仅是投机型攻击),及其针对性有多强等;
- 具体是怎么做的:也就是所谓的TTP(Tatics策略、Technique技术和Procedure程序),这其中也包含了攻击者所用的工具、基础设施等;
- 攻击者的位置:结合地方所在国家,以及其地缘政治状况,自然能够帮助企业和组织更好地理解地方情况;
- 如何组织情报:包括IOC一类的技术指标(比如IP地址、哈希值等)提供的信息可用来更准确地检测和标记恶意行为;
- 攻击者身份:威胁情报需要能够帮助企业将攻击/恶意活动最终溯源至相应组织(网络犯罪团体、黑客、政府/国家机构等);
- 攻击的原因:了解地方动机,以及他们会在攻击中投入多少精力(APT或仅是投机型攻击),及其针对性有多强等;
- 具体是怎么做的:也就是所谓的TTP(Tatics策略、Technique技术和Procedure程序),这其中也包含了攻击者所用的工具、基础设施等;
- 攻击者的位置:结合地方所在国家,以及其地缘政治状况,自然能够帮助企业和组织更好地理解地方情况;
- 如何组织情报:包括IOC一类的技术指标(比如IP地址、哈希值等)提供的信息可用来更准确地检测和标记恶意行为;
上面这些信息实际上是彼此关联的,通过SIEM解决方案对外部提供的威胁情报和内部信息相关联,企业或组织对于攻击会有更清晰的认识,也能够对威胁进行事先防御。那么这些威胁情报究竟具体是怎么应用到安全策略中的呢?
第一种威胁情报是“战略层面”的,也就是供人阅读的。这类威胁情报不需要非常技术,主要为各类C字头高管准备(如CEO、COO、CTO等),让他们能够了解威胁对于业务连续性的影响,帮助他们做出正确的决策。
这类威胁情报的典型呈现方式就是报告,比如微步在线《DarkHotel Operation 8651》威胁情报报告。
另一类是“可操作层面”的,或者说是可机读的数据——安全设备能够利用这些数据来加固安全性,比如上面提到SIEM和威胁情报的配合。
这些数据很多是XML格式化过的,易于处理。所以说威胁情报本身对于企业内部各个层面的人而言都是有意义的,包括SOC(安全运营中心)分析师、事件响应团队,甚至到做出决策的董事会。
针对上述第二类可机读的威胁情报,SANS Institute先前对各行各业、各类规模的326家企业组织进行了调查,发现其中55%将威胁情报应用在SIEM平台,这实际上也是威胁情报一词总与SIEM联系在一起的重要原因——而且实际上,许多提供SIEM解决方案的企业本身就做威胁情报。
先前微步在线CEO薛峰在接受我们采访时,还提到了另一种威胁情报的分析平台应用,“它是一种数据的平台,帮助你的分析师去做一些搜索、关联、分析部分的工作。这种产品和服务的形态就是一个平台化的,而不是终端化的产品方式。”
具体拿一些进行解读,这里的web分级实际上是针对数十亿百亿网页进行内容分级,让用户不会受到相应威胁;web信誉则在于预测网站访问的安全风险,让管理员能够调整安全设定;IP信誉主要是高风险IP地址的动态情报。
文件信誉很容易理解,提供的是已知恶意和白名单文件的动态文件信誉情报,阻止恶意程序的部署;移动应用信誉——情况亦然,针对这一点移动技术合作伙伴可将移动安全SDK融合到解决方案中。
如果要说威胁情报的标准,则STIX/TAXII相对通用。STIX是用以描述网络威胁信息的标准化、结构化语言。
TAXII就是以STIX格式抓取的网络威胁信息的可信、自动化交换。微步在线在接受我们的采访时提到了STIX和OpenIOC,不过他们同时补充说,以国内的实战经验来看,使用JSON格式的最多。
其实一款安全产品往往可以将多个威胁情报源集合到一起,或者说很少有安全产品只需要一个威胁情报源。比如说安全web网关可以选择web分级源、web信誉源、IP信誉源,甚至可能还需要文件威胁情报源。
实际上,也有企业会为产品选择多个供应商的授权威胁情报源,不过这也会增加整个系统的复杂性和成本。所以实际上选择威胁情报提供商才是最值得考虑的问题。评估威胁情报源的关键有以下几点:
- 数据有效性,不仅包括误报/漏报率,还包括与其他数据的关联能力;这一点尤为值得一提,相对顶级的威胁情报提供商已经开发了关联技术,能够自动在web信誉、IP信誉、文件威胁信誉等情报源之间进行交叉参考,对未分类的潜在威胁进行抑制。
比如说有个威胁情报中原本未分级的URL地址,如果它与恶意程序感染文件或者已知不良IP地址相关联,则很容易将这个URL归类到不良之中。
- 大数据和机器学习能力,数以亿计的域名、IP地址、移动应用、URL和文件行为记录,都需要大数据分析能力。借由机器学习来进行更为准确和可扩展的web威胁分析。
- 数据有效性,不仅包括误报/漏报率,还包括与其他数据的关联能力;这一点尤为值得一提,相对顶级的威胁情报提供商已经开发了关联技术,能够自动在web信誉、IP信誉、文件威胁信誉等情报源之间进行交叉参考,对未分类的潜在威胁进行抑制。
比如说有个威胁情报中原本未分级的URL地址,如果它与恶意程序感染文件或者已知不良IP地址相关联,则很容易将这个URL归类到不良之中。
- 大数据和机器学习能力,数以亿计的域名、IP地址、移动应用、URL和文件行为记录,都需要大数据分析能力。借由机器学习来进行更为准确和可扩展的web威胁分析。
其实对企业或组织而言,期望享用威胁情报总共有3种选择,其一是自己打造威胁情报基建,这对大量企业是不大现实的,因为所需投入的人力物力都比较大;其二是采用开源或者公共项目,虽然免费听起来不错,但开源威胁情报更新很不及时,误报漏报率都不理想。
再有就是从专门的威胁情报供应商处获取授权威胁情报,绝大部分比较成功的安全供应商都从一个或多个威胁情报供应商处获取威胁情报授权。
而微步在线就是家典型的威胁情报供应商。相较威胁情报领域的其他玩家,微步在线从初生伊始就做威胁情报,这种模式相较一般有自家安全产品的威胁情报提供商而言,又如何体现优势呢?
这家公司的支柱产品主要是威胁情报中心(ThreatBook TIC)和威胁分析平台。我们基于以上对威胁情报的剖析,来看看微步在线的威胁情报产品又有什么样的特点。
前文谈到威胁情报服务有供人阅读的情报,微步在线也的确推出了“情报订阅服务”,是由微步在线ThreatBook Labs从不同威胁情报来源和自家分析,向客户提供威胁事件预警、0day漏洞预警、行业事件追踪等情报。
先前微步在线针对DarkHotel和XcodeGhost的威胁情报报告也是典型供人阅读的情报,国外媒体也曾对其报告进行过援引。
而在威胁情报具体应用到产品中这一点,从微步在线官网针对威胁情报中心描述的“关键特性来看”,主要包括
根据前文提到评估威胁情报的几个关键点,微步在线威胁情报中心的这些“关键特性”大致上也是在对此做强调。
我们进一步对微步在线进行了邮件采访,虽然他们没有明确透露威胁情报数据来源等信息,不过他们提供了下面这些数据:
综合其“关键特性”,这大致上是对数据新鲜程度、关联技术、大数据和机器学习能力、威胁情报数据来源的陈述。“精准”“关联性”“上下文”和“可操作性”也是其产品PPT的宣传重点。
其中“以中国为重心的威胁情报”,也表现微步在线的地域性特色。至于机器学习,微步在线是这么说的:
“没有上下文的信息不能称为情报,充其量只是元数据,对于情报生成过程中数据的清晰、关联、验证、上下文、格式化等工作都是通过我们的机器学习来实现的。”
这其中文件威胁分析服务可以和企业现有的检测机制(比如EDR)进行结合;针对的文件类型包括可执行PE文件、Office文档、PDF文件、VBS/JS脚本文件;进行沙箱行为分析,提供恶意软件行为动作;兼容Windows、Android和iOS平台;除了沙箱动态分析之外,还集成了国内外近30款知名防病毒引擎。
DNS分析服务,是通过DNS日志实现对企业出站流量的分析检测。这项服务的特色在于,通过DNS检测能够识别C&C操控网络内部失陷主机和持续渗透,以期发现APT攻击线索;另外针对僵尸网络、钓鱼网站、木马病毒下载,DNS解析原本就具备简单和低成本的特点。
IP信誉情报服务当属威胁情报的常规积累,属于入站情报服务,是对入站流量进行威胁检测和风险识别服务。
这一块微步在线的数据规模包括“千万级傀儡机IP数据”“数亿数据中心服务器IP数据”;其IP风险信息还包括了“十数万代理IP”“数万VPN/Tor”“数万扫描IP。”
微步在线有特别列出的“可机读威胁情报服务”,这项服务通过域名(C2、钓鱼网站等)、IP地址、恶意文件Hash、攻击者电子邮件等多维指标提供情报信息。
这是微步在线+威胁情报源”的主要体现;这项服务同时也是通过机器关联和人工干预的方式,为情报赋予优先级和可信度信息,并增加上下文信息,这样安全人员就能够更准确地进行事件响应。
在具体的部署上,IP信誉情报服务可以被风险控制模型、WAF设备和安全大数据可视化系统直接使用;DNS威胁分析服务则通过企业DNS日志分析与微步在线的可机读威胁情报实时比对实现。
“我们也和很多国内知名安全厂商展开了合作,配合已有的NGFW、IPS、WAF等产品。”基于威胁情报中心,微步在线现如今也在搞“高级安全服务”,包括恶意软件分析服务、安全事件响应服务等。
微步在线创立初期在推VirusBook——这个服务当初仅有文件威胁分析,当前已经改作“威胁分析平台(TAP)”。
因为它现如今已经是个威胁分析工具,集成了微步在线的情报数据,针对企业安全人员提供限定免费使用次数;可用来进行数据关联分析、鉴别、调查和溯源。
实际上,上面提到的IP信誉情报服务、文件威胁分析服务在这里都有更为直观和具体的体现;主要是为风险分析师提供威胁关联分析服务,比如威胁情报数据、恶意软件元数据、样本;网络数据如域名历史/PDNS、历史Whois等。其基础依旧是上文提到的数据来源,包括5年Passive DNS数据、每日新增数百万域名等。
意思也就是用浏览器登录个网址,就能使用服务了。所以威胁分析平台一定程度也是互联网上微步在线的门面。
其整体界面很像是搜索引擎,界面唯一的输入框内可以输入IP、域名、文件HASH进行查询分析。也可以上传文件样本进行分析,上传文件有80MB尺寸限制。
我们尝试进行IP地址、域名和文件HASH的输入,比如针对iCloud用户的钓鱼站点域名,在点击“分析”按钮之后,几秒钟的时间内,在威胁情报栏目中,就能相对直观地显示来自ThreatBook Labs情报源,确定该域名为“钓鱼”。
我们尝试的上面这个IP地址,则是今年7月份揭露的APT组织Patchwork的C2控制服务器IP地址。除了威胁情报中,多个来源都显示“可疑”和“恶意软件”,可视分析标签中也列出了与该IP相关的威胁情报数据,在此主要是样本HASH。
随后我们又尝试了2014年OnionDuke APT攻击恶意样本SHA-1,点击分析数秒后,22个不同的反病毒引擎分别显示了结果。
其开源情报源同样显示,这是个恶意软件,Tag中也明确标注了TrojanDropper和OnionDuke免费美国代理ip地址。
最后我们还实验了2013年APT1攻击样本文件,将之上传至微步在线的威胁分析平台,即便zip压缩加密后居然依旧有引擎可以检测出来。
实际上,除了这种“web门户”的查询方式,威胁分析平台也提供了API。其中的Public API是免费服务,通过建立简单脚本就能访问文件检测分析功能——也就是不需要通过web接口,就能上传扫描文件。
这里的API采用HTTP POST请求和JSON返回,在请求频率方面有限制。只需要在ThreatBook站点注册,就能获取到Public API Key。官方提供了API调用的具体示例。
除了Public API之外,还有Private API。这个API的功能相较免费的Public API更多,实际也是通过客户端来调用威胁分析平台数据库中的数据和检测分析功能。
web端的功能,Private API都有提供,包括了文件检测、HASH查询、域名分析和IP分析。这里的apikey就需要“作为商业客户通过邮件方式交付”了。官方说明文档中同样提供了比较详尽的说明。
当前北美是威胁情报最大的市场,而亚太地区则是成长最为迅速的区域。亚太地区的许多中小企业都开始采用基于云的威胁情报解决方案。
“预计威胁情报安全市场规模将从2015年的30.027亿美元,增加到2020年的58.605亿美元,复合年增长率14.3%。”虽然不少机构的具体数值存在差异,但对上扬趋势的预估都是比较一致的。
这块市场中的主要玩家包括了IBM、Intel Security(McAfee)、赛门铁克、趋势科技、Dell SecureWorks、Juniper Networks,Webroot等。微步在线也表示:“国际上威胁情报市场已经炙手可热,各自擅长的领域和产品形态不同。”
当前微步在线的客户主要集中在拥有安全团队和基础安全体系的大中型行业客户,在互联网、金融、能源等行业均有分布。一般的安全厂商实际上也是微步在线的重要市场,威胁情报与大数据产品、安全产品结合也显得理所应当。
“包括企业威胁情报中心、SOC、SIEM、WAF、IDS、NGFW、日志分析、云服务提供商等产品。比如去年我们就和启明星辰在内的多个行业领军企业展开了合作。”
在微步在线看来,威胁情报正在国内迅速发展:“国内威胁情报市场刚刚起步,并且有很大的市场空间。
与国外细分的安全市场不同,国内整个市场对于威胁情报价值的认知正在建立,我们遇到很多主动来找我们要购买服务的客户,也做了很多客户与市场教育工作。可以感受到,今年是市场快速发展的一年。我们的优势在于全面的威胁情报布局,这对于当前的威胁形式是至关重要的一部分。”
“国外的威胁情报公司缺乏识别国内特有威胁的能力,能够为国内提供服务的产品功能也极为有限,我们目前在国内还没有看到有国外的竞争对手。”所以作为国内首家威胁情报公司,微步在线认为,自己具备了行业内的优势。
上面这张图在威胁情报行业相当知名,它表达的是不同情报的获取难度和破解难度,比如说最底层是Hash Values,这是最容易获取的,转换过程也简单;越往上情况就越复杂,比如我们前文提到TTP,也就是黑客采用何种策略、技术和流程,这类情报获取后的变换成本是相当高的。
或许就此金字塔而言,国内乃至整个威胁情报行业还有段路要走,而国内也正有越来越多的传统安全企业开始着眼威胁情报,这些厂商在自家安全产品的积累中也为其威胁情报领域的发展提供了经验,微步在线能否利用先发优势持续步进,这是值得我们观察的。
附录:有关微步在线月成立于北京, 定位以安全威胁情报(Threat Intelligence)服务为中心的安全公司。
创始人兼CEO薛锋曾任亚马逊中国首席安全官,微软中国互联网安全战略总监,是Blackhat欧洲安全大会和微软蓝帽子大会Bluehat上首位来自中国的演讲者。
创始人兼CEO薛锋曾任亚马逊中国首席安全官,微软中国互联网安全战略总监,是Blackhat欧洲安全大会和微软蓝帽子大会Bluehat上首位来自中国的演讲者。
与FIT 2017大会并行的WitAwards 2016,作为一年一度的互联网创新安全评选盛典和FIT 大会的重头戏之一,自然备受业界关注
历时50天,近400项申报及提名经激烈角逐,共预录取106席入围项目,现邀请您代表从业者,共同选出安全领域Top Icon,为安全产业的年度卓越喝彩!
WitAward是由FreeBuf联合众多机构发起的、一年一度的、针对中国互联网安全产品的评选活动,旨在发掘2016年度卓越的安全产品和杰出人物。Freebuf诚邀关注安全的您参与本届WitAwards 2016互联网安全年度评选投票,选择你心目中的年度创新产品、年度品牌力量、年度技术变革、年度安全云及云服务、年度安全人物 和年度安全团队,您的选择将与其他专家评委共同决定互联网安全领域的年度Top席位。
1、投票者中选出50位,免费获得2016年12月28-29日举行的2017 FreeBuf互联网安全创新大会门票(价值588元)。