当前位置:主页>科 研>学术交流>

面向大数据的情报系统初探:以数据为中心的情报系统将成为信息化战争的制胜关键(2)

  2.1 情报计划与评估

情报计划的过程主要是根据战略和作战态势的实时变化情况,在分析情报需求的基础上,综合考虑可用的侦察资源、情报系统能力、情报技术现状等各个方面,指定情报系统在何时、何地针对何种对象进行情报活动,确定情报服务指标和要求,并根据各种军事、社会环境的变化修订相应的情报计划。情报计划子系统需要提供需求汇集、情况收集、分析判断、计划制定、计划推演、计划分发以及计划调整等服务。

情报评估是根据所收集的情况信息,评估和评价情报活动是否完成了情报计划指定的情报指标和要求,以确保情报需求获得满足。情报计划与情报评估相互印证,以情报需求为中心,是情报系统的关键,贯穿并影响情报活动的各个方面,连续不间断的进行。

大数据时代对情报计划和评估系统的影响首先是思维上的转变,情报计划的确定要考虑海量数据的相互关联和情报数据的实时变化,从而更注重预测性和时效性;其次,计划和评估过程要争取实现信息化、智能化、服务化,以应对人力与大数据之间的巨大差距。

  2.2 情报搜集

各种情报搜集设施是情报系统的根本,没有情报搜集,情报活动就无从谈起。大数据对情报搜集的影响体现在情报来源越来越多样,情报数据越来越复杂。当前的军事情报系统从陆海空天电网一体化作战出发,建立了陆基侦察、海基侦察、空基侦察、天基侦察、电磁侦察、网络侦查、人力侦察和公开来源等军事情报源,其中,公开来源的情报信息往往被低估甚至忽视。大数据兴起的新时期,公开信息情报的政治和军事优势得天独厚并且成本低廉,能够在在全球范围内,针对所有秘密情报视野之外的海量数据开展情报搜集工作。2012年,奥巴马政府提出,对数据的占有和控制权将成为继陆权、海权、空权等传统权利之外的另一项国家核心资产。丰富情报系统的情报搜集手段,是争夺和扩大数据占有和控制权的重要表现。

  2.3 数据预处理

数据预处理子系统将来自各种战场传感器、人力侦察和公开来源的情报信息安全、可靠、快速地传送至情报处理系统,主要进行接入汇集、数据预处理等工作。数据预处理过程包括数据清理、数据集成、数据转换等。

数据清理主要包括数据格式标准化、异常数据识别、错误纠正、重复数据清除等。由于各情报源所处环境不同,尤其是战时,受敌方干扰或者恶劣环境影响,很容易出现错误或者不规范的情报信息,数据清理过程需要对多源传感器数据进行净化与筛选处理,减少噪声影响,识别异常信息,并利用情报还原技术及时从其中获得有用信息。在情报数据清理的过程中,应根据情报计划进行必要的对照检查,防止对重要情报的遗漏,对未达到要求的情报内容要及时进行补充收集。

数据集成是将多个情报源中获得的数据结合起来并统一存储,是构建关联型数据库的重要手段。通过构建目标情报信息模型、态势预测模型,分别采用数据级、特征级、决策级的数据集中关联实现多源情报信息的综合集成,可以获得面向情报对象的全方面、一体化的情报资源。

数据转换是通过规范化和平滑聚集,将数据信息和数据结构转换为适合情报处理的数据。由于各情报源输出的数据形式、对环境的描述和说明等都不一样,为了综合处理这些不同来源的信息,需要将其转换成相同的形式和描述。例如,将监视目标的位置信息的连续变化转变为动向情报的节点式间断变化,将各个绝对坐标转变为参考同一参照物的相对坐标等都属于情报转换的重要手段,可以为后续的情报分析提供便利。

大数据时代的数据预处理与传统的预处理区别在于,大数据时代的预处理考虑数据的可扩展性,可以接受传统数据时代所忽略的非结构化数据,并能从所谓的“数据废气”中挖掘潜在价值。传统的数据预处理还包括数据归约,主要用来得到数据集的归约表示,大大精简数据量以缩短挖掘分析的时间。但是随着大数据计算和大数据分析技术的发展,对全量数据的处理时间大大缩短,盲目的数据归约反而会导致信息的丢失,得不偿失。

  2.4 情报数据存储

面向大数据的情报系统需要对多源异构的海量数据提供高容错、可扩展、主动交互的数据存储服务,对情报信息数据的存储管理包括巨量数据存储结构、全媒体多格式数据的快速容差处理、高增量数据的快速分类处理、信息可靠性初级评估、组合与迁移、数据备份、容灾与安全等。

情报数据可以分为结构化数据、非结构化数据和半结构化数据。结构化的数据是情报源和情报预处理系统根据事先明确的要求,以规范好的格式和顺序给出的数据。例如以经、纬度确定目标的位置信息,用年、月、日、秒确定情报事件的时间点等。非结构化的情报则指那些被动接收、无法事先规定格式的数据,文本数据、视频数据、音频数据都属于这个范畴。半结构化数据则是两者的结合,以公开情报最重要的来源网络日志为例,它既具有符合WeB传输规范的结构化文本格式,它的内容文本却是非结构化的。情报存储子系统应该构建关联型的数据库集群,既支持结构化数据存储,又支持非结构化和半结构化的数据存储。此外,虽然非关系型(NoSQL)数据库是目前大数据系统的大势所趋,具有存储速度快、可扩展性高等特点,但是传统的关系型数据库由于严格格式化并且设计成熟,是有针对性的情报系统必不可少的存储方式。新一代的情报数据存储应该综合关系型数据库和非关系型(NoSQL)数据库,为情报融合和情报关联预测提供支撑。

情报系统中数据的存储方式与处理速度密切相关,面向大数据的情报系统不仅对存储的性能和容量提出了新的要求,还需具备快速的数据检索与分析能力来随时提取有价值的信息和数据。因此,各数据库集群应采用分布式存储,以提高系统可靠性和可扩展性,为分布式的情报分析模式提供基础。分布式存储系统利用网络中物理上独立的存储设备来分担存储负荷,通过映射关系实现逻辑上统一的存储空间。与此同时,由多台计算机并行管理与使用形成强大处理能力的分布式文件系统也必不可少。当前,开源分布式处理平台Hadoop[6]是广泛使用的一种云计算支撑架构,它的HDFS分布式文件系统将计算节点和存储节点合二为一,提供了低成本、高效率的大型计算机集群模型;同时,Hadoop的HBase分布式数据库和MapReduce处理框架分别提供了非结构化数据存储能力和大数据快速分析能力,可作为新一代情报系统的平台参考。

需要指出的是,由于分布式存储的基本特征使用户失去了对数据的绝对控制权,使得分布式存储产生了特有的安全隐患。因此,情报系统需要综合考虑安全性与海量数据存储性能的得与失,从访问安全性、存储安全性和数据备份安全性等方面出发,添加适合情报系统的特定解决方案,设计并采用同时满足性能要求和安全要求的专用分布式存储系统。例如,分别针对公开来源情报和军事侦察情报,分别采用公有云、私有云以及混合云等不同形式的存储方式,满足不同的安全级别要求。

  2.5 情报分析

大数据的核心意义并不在于数据量之大,而在于通过对海量数据进行整合和分析,发现新知识,创造新价值。美国国防部对情报分析的定义为“通过对全源数据进行综合、评估、分析和解读,将处理过的信息转换为情报以满足已知或预期的用户需求的过程”。强调“全源数据”,与大数据的发展趋势不谋而合。因此,对搜集的数据进行信息挖掘、数据分析和信息融合,是情报系统的重中之重。

信息挖掘是对已预处理的数据进行关联、分类、聚类、偏差分析等,从中发现有价值的知识和模式。情报系统中,主要通过信息分类、信息整编、信息索引、信息标注、信息关联、模式识别以及推理判断等技术,以聚类统计分析和规则假设推理的方法来揭示隐藏的、未知的或验证已知的模式与规律,挖掘出有价值的情报。海量处理对象的需求和情报系统的实时性要求使面向大数据的信息挖掘要依托云计算技术和大数据分析技术进行分布式并行处理,配合情报搜集和存储阶段的云存储模式,提供符合要求的情报挖掘服务。

通过信息挖掘得到的知识和模式还不能直接作为决策的知识,需要进一步分析才能真正转化为有用的情报。新阶段的情报分析应该实现可视化分析、智能化分析和预测性分析。可视化分析是面向大数据分析专家和情报用户的,能够直观地呈现大数据特点,让数据自己说明结果。智能化分析使情报系统能够自动从数据中发现有用信息,大幅提高了将情报优势转化为决策优势的过程的时效性和准确性,是大数据时代必备的要求。预测性分析是大数据技术的核心应用,是根据已知情报信息对将来和未知的情报信息的大数据分析过程。此外,随着网络空间攻防战的日益激烈,分析监视数据并提供实时警告也是情报分析的重要任务。

信息融合是对来自多源的数据和多维度信息进行检测、互联、相关、估计和综合等多层次多方面的处理,以获得准确的状态和身份认证,完整而及时的战场态势和威胁评估。信息融合利用了不同信息间的互补性和多元信息的冗余性,既可以产生较低层次上的状态和身份评估,也可以获得较高层次上的战术态势评估与威胁评估。以美国陆军的全源信息分析系统(ASAS)为例,现代情报分析系统采用计算机、视频显示终端盒保密无线电通信设备组成混合系统,把数据搜集和存储阶段生成的信息进行互相补充、验证、比较和分析,从中得到综合性的情报和近实时的战场态势图。此外,针对情报分析的结果,应形成对情报产品的分类管理,按照情报的类别确定保障范围和条件,为后续的情报分发过程提供支撑。

基于大数据的情报分析系统基于分布式海量数据存储与计算环境和丰富的数据分析和挖掘方法,提供智能化、可视化及预测性的分析服务,融合多源情报,通过网络提供情报分析服务。情报分析服务的网络服务特性,实现了情报生产者和情报用户的交流和互动,让处于不同位置、隶属于不同部门的情报用户和专家参与分析,通过“个性化”定制的情报分析,使情报产品更加具有针对性和灵活性。

  2.6 情报分发

情报系统在形成各类情报产品之后,还需建立高效、快捷以及安全的情报分发机制。面向大数据的情报分发应实现按需分发,主要功能和阶段包括用户需求订阅、情报分发处理、分发路径优选与通信保障、情报分发监控、情报共享等。

  •   用户需求订阅功能需要按照用户的情报保障级别,限定其订阅范围和类型,经审核后按照用户需求生成情报订阅指令,然后提交给分发控制系统。
  •   情报分发处理阶段根据情报订阅指令,对情报产品库中的产品进行信息过滤、裁剪以及模糊处理,确定对应的分发策略。
  •   分发路径优选与通信保障则是为了保障情报分发的时效性和可靠性,自动选取传输链路和最优路由,并通过接收确认、断链重传等可靠性传输机制传播情报。
  •   情报分发监控则是对情报分发过程的实时监控能力,一方面要避免情报被窃取或者错误分发,另一方面要避免在通信中断或情报系统失效的情况下出现用户死等现象。在以上情况发生时,示警并激活应急机制,实现准确和不间断的情报保障。
  •   情报共享是实现情报协调的基础,既包括垂直性的上级向多个下级机关的情报通告,也包括平行性的情报传阅。通过分布式系统实现的情报共享机制,有利于提高一体化联合战争大环境下的协同作战能力。

  2.7 情报服务

情报服务是情报系统呈现在用户面前的直观形态,直接关系到情报系统的保障能力和应用能力,它的核心目标是能够实现“网络中心、即插即用、按需共享、动态重组”的情报信息共享能力,主要包括情报信息管理、情报服务应用、信息服务传输和情报服务交互等功能。

情报信息管理是通过建设情报信息平台的方式,对情报信息资源进行整编和索引,实现情报产品的统一入库和管理;情报服务应用是以情报信息为中心,针对不同的情报业务需求,设计自动化的情报应用和部署,增强情报信息面向战役战术应用的支撑能力;信息服务传输是在情报分发层通信链路的基础上,从逻辑层面进一步优化情报信息传输的流程,减少传输过程的信息冗余,提升情报信息传输能力;情报服务交互是在用户终端方面,通过Web服务接入、可视化、人机交互等技术实现对各类情报资源的访问和共享。

  2.8 安全服务

军事情报网络的安全性至关重要,安全服务应贯穿情报系统的始终。情报系统的各个阶段应提供身份认证、访问授权、分级管理、密码管理、容灾备份、数据校验等安全功能,来保障数据传输和访问安全以及数据存储安全。数据传输和访问方面,当用户在登陆情报系统的云服务器时,需要验证用户的信任等级,不同的用户级别拥有不同的用户使用权限,这些靠身份认证、访问授权、分级管理和密码管理等机制实现。数据存储安全方面,为防止重大事故和复杂的战争环境导致数据无法恢复,分布式存储的各个数据中心应定期进行情报数据的备份,并提供短时间的数据恢复能力。此外,由于情报数据在云中集中存储,任何用户获取或者上传的情报必须经过云的安全框架认证,这样可以有效确保数据的完整可靠安全。

  3. 大数据时代情报系统的展望

面向大数据的情报系统以区域性情报中心及高速互联网为基础设施,以互联网服务体系为架构,以大数据存储、云计算、信息挖掘、交互式可视化分析、并行处理等关键技术为支撑,通过情报服务平台和多样化移动智能终端及移动互联网为用户提供情报搜集、情报处理和情报分发服务。

  3.1 大数据存储推动情报搜集深入化

随着大数据技术的兴起,本来无用的数据也可能成为新的情报触发点,情报搜集的重点已经开始向追求数据的全面性和海量化转变。侦察监视传感器的种类和数量将越来越多,传感器网络进一步互联、互通、互操作,导致情报监视范围更广,情报数据更多样。情报搜集工作将深入社会的各个方面,公开来源情报的价值、地位和影响将彻底转变。

  3.2 大数据分析支撑情报处理智能化

海量的大数据存储要求情报分析从人工分析转向以自动关联为中心的智能化分析,可视化分析和预测性分析都依赖于对情报信息的智能化处理。在海湾战争和伊拉克战争中,先进的智能化情报处理技术已经发挥了关键性作用。在大数据技术蓬勃发展的将来,人力与数据量的鸿沟将使智能化情报处理的优越性进一步彰显,在信息处理能力、准确性、可靠性、稳定性以及处理时间等方面发挥巨大信息优势。未来的信息化战争,很可能是在智能化情报处理系统方面的对决。

  3.3 大数据服务开启情报分发网状化

大数据时代,基于情报产品的分布式存储和情报分析的并行处理,情报分发网络有望从以一个或多个国家情报中心和区域情报中心的星形结构转向网状化结构。各情报分发节点既可以和上下级节点通信,又可以和平级节点通信,分发路径增多,情报协作更加灵活,但需加强情报安全保障。

(责任编辑:安博涛)

分享到:

更多
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
  • 微笑/wx
  • 撇嘴/pz
  • 抓狂/zk
  • 流汗/lh
  • 大兵/db
  • 奋斗/fd
  • 疑问/yw
  • 晕/y
  • 偷笑/wx
  • 可爱/ka
  • 傲慢/am
  • 惊恐/jk
用户名: 验证码:点击我更换图片
资料下载专区
图文资讯

面向大数据的情报系统初探:以数据为中心的

面向大数据的情报系统初探:以数据为中心的情报系统将成为信息化战争的制胜关键

本文由信息与电子前沿(ID:caeit-e)授权转载,发表于《中国电子科学研究院学报》第11...[详细]

极简读懂机器学习算法思维

极简读懂机器学习算法思维

本文没有公式推到,也没有代码编写,仅从算法理念和思维出发,以生活案例或日常思考方...[详细]

神通广大的小波理论|2017年阿贝尔奖

神通广大的小波理论|2017年阿贝尔奖

1960年,尤金维格纳在《数学在自然科学中不合理的有效性》中论证了数学概念和发现的非...[详细]

你的企业真的安全吗?经常被忽视的6个安全

你的企业真的安全吗?经常被忽视的6个安全风险

企业总在为业务安全奔波劳碌。但是,你确保你的安全措施足以保护公司、客户和员工吗?...[详细]

Cloudflare泄露客户数据,IT部门可从中吸取

Cloudflare泄露客户数据,IT部门可从中吸取什么教训?

网站和手机应用程序信息在哪里泄露?无人知晓。但是,IT部门应该考虑怎样做才能确保信...[详细]

返回首页 返回顶部