欺诈检测是大数据分析中最显眼的应用：信用卡和电话公司开展欺诈检测的历史已经有几十年了;然而从经济角度来看，必须用定制的基础设置来挖掘大数据做欺诈检测并不适于大规模采用。大数据技术的一个主要影响是它们让很多行业的企业能够承担构建基础设施来做安全监测的开支。

特别是新的大数据技术，比如Hadoop生态圈(包括Pig、Hive、Mahout和RHadoop)、流挖掘、复杂事件处理和NoSQL数据库—能够以前所未有的规模和速度分析大规模的异构数据集。这些技术通过促进安全信息的存储、维护和分析改变着安全分析。比如说，WINE平台1和Bot-Cloud2允许使用MapReduce高效地处理数据做安全分析。通过观察过去十年安全工具的反应发生了什么样的变化，我们可以找出其中的一些趋势。当IDS探测器的市场增长时，网络监测探测器和日志工具被部署到了企业网络中;然而，管理这些分散的数据源发过来的警告变成了一个很有挑战性的任务。结果安全厂商开始开发SIEMs，致力于把警告信息和其它网络统计数据整合并关联起来，通过一个仪表板把所有信息呈现给安全分析人员。现在，大数据工具将更加分散数据源，时间范围更长的数据关联、整合和归纳整理起来交给安全分析人员，改进了安全分析人员可获取的信息。

Zions Bancorporation最近给出的一个案例研究可以让我们见到大数据工具的具体收益。它的研究发现，它所处理的数据质量和分析的事件数量比传统的SIEM(在一个月的数据负载中搜索要花20分钟到一个小时的时间)多出很多。在它用Hive运行查询的新Hadoop系统中，相同的结果大概在一分钟左右就出来了。3采用驱动这一实现的安全数据仓库，用户不仅可以从防火墙和安全设备中挖掘有意义的安全信息，还能从网站流、业务流程和其他日常事务中挖掘。将非结构化的数据和多种不同的数据集纳入一个分析框架中是大数据的特性之一。大数据工具还特别适合用作高级持续性威胁(APT)的检测和取证的基础工具。4,5 APT的运行模式又低又慢(即执行时不引人注意，而时间又很长);因此，它们可能会持续很长时间，而受害者却对入侵毫无所知。为了检测这些攻击，我们需要收集并关联大量分散的数据(包括来自内部数据源的数据和外部共享的智能数据)，并执行长期的历史相关性风险，以便纳入网络历史上发生过的攻击的后验信息。

(责任编辑：)