大数据在美国军事及民用航天领域中的应用

互联网IDC圈5月19日报道，近年来，随着全球新一代信息技术和应用的兴起，大数据浪潮席卷全球。为应对庞杂数据挑战及继续谋求信息优势，迎接“大数据”时代的来临，2012年3月，美国发表了《大数据研发倡议》，美国国防部及国防高级研究计划局(DARPA)在同期发布的大数据项目清单中列出了10项研究计划，开发相应工具盒技术，大力提升获取、管理和分析大数据的能力，正式把大数据研发提升为国家战略，并作为美军建设的战略重点。大数据项目作为一种新兴的技术极有可能对美国的国家安全战略、军事战略、军队建设、作战理论等方面产生重大影响。

美军面临的大数据挑战

对于美军来说，随着信息化建设的继续深入发展，各种新技术、新武器不断涌现，以及各级别的“系统集成”越来越复杂，在处理信息以及数据方面也开始遭遇各种挑战，主要有以下几种情况：

1)海量战场数据无法得到及时、高效的处理。信息化条件下的作战，战场态势数据呈现出新的特点：来源广泛、容量巨大、更新频繁。为了提高对战场态势的感知，美军综合运用了无人机、传感器等侦察手段，其雷达、光电、声音、影像侦察能力已经实现了对战场的全覆盖，但所带来的问题是：随着数据量的大幅增加，仅仅依靠现有信息技术，美军已不能及时高效地分析和处理这些数据，而且持续更新的数据对系统的存储能力也提出了更高的要求，海量数据甚至会造成系统瘫痪。

2)数据壁垒高阻碍了数据融合。美军认为，影响数据融合的壁垒主要有：在体制上，相关部门往往各自为营，存在重复开发、标准各异等问题，而且出于对自身利益的考虑，可能会独享情报，无法做到信息共享;在格式上，随着网络技术的不断发展，博客、聊天室、论坛等成为获取情报数据的新来源。这就带来了除结构化数据以外的新型数据结构，如半结构化的HTML、XML数据以及非结构化的图形、图像、视频、音频数据。这些数据拥有自己的特性和模式。为了适应信息集成的需要，各种数据必须建立统一的格式标准，建立一种能够容纳和处理各种数据格式的综合集成的数据库。

3)数据库漏洞增多，信息安全存在隐患。信息安全是一个存在已久的问题，而数据则是信息的重要载体。随着数据量的爆炸性增长，一方面，数据库漏洞越来越多，可攻击的目标也随之增加，且攻击目标将更为暴露;另一方面，隐藏在海量数据中的攻击行为往往难以被及时探测。数据安全是大数据应用的根本保障，核心数据的泄露将对整个战局造成致命性影响。因此，必须研发出可靠的防护措施，以确保信息安全。

美国大数据政策及其军事项目研发

近年来，美国奥巴马政府从战略高度看待大数据问题，出台了相关政策文件。2010年12月，美国总统行政办公室、总统科技顾问委员会提交了题为“设计数据化未来”的报告。该报告通过对事关联邦机构未来发展的五大问题的分析，提出国家安全和国土安全部门在网络信息领域应具备的能力，并进一步阐述了大规模数据管理与分析的重要性及存在的研究挑战。在上述报告的基础上，奥巴马政府综合其他各智库的意见，于2012年3月29日发布了“大数据研发倡议”，将大数据研发提升为国家政策。

美国政府旨在通过此举实现效率大化，即利用较少的投入带动全国各部门对大数据项目的研发。总统科技助理兼白宫科技政策办公室主任约翰·霍尔德伦博士在“大数据研发倡议”新闻发布会上指出：正如联邦政府过去在信息技术研发领域的投入，曾经推动超级计算机的快速发展和互联网的产生那样，我们今天发布的这个倡议，将确保我们有能力将大数据用于科学发现、环境与生物医药研究、教育和国家安全。目前，该文件尚处于保密阶段。

根据白宫发布的新闻稿，奥巴马政府推进大数据研发项目的目的是：

1)发展前沿核心技术，以满足搜集、存储、防护、管理、分析和共享海量数据的要求;

2)利用上述技术，推动科学与工程领域的发明创造，增强国家安全，转变教育方式;

3)储备人力资源，以满足发展和利用大数据技术的需求。

目前，共有6个部门和机构为推动该倡议承担了任务，包括：国家科学基金会、国家卫生研究院、能源部、国防部及国防高级研究计划局、美国地质调查局。

国防部及其下属国防高级研究计划局现有的大数据项目共有10个。其中，具有代表性的项目是：数据到决策、网络内部威胁、影像检索与分析和X-数据项目。

1)多尺度异常检测(ADAMS)项目。解决大规模数据集的异常检测与表征问题。在此背景下，数据中的异常为在各种现实背景下搜集另外可操作的信息提供了线索。

2)网络内部威胁项目。该项目的目的是通过采用新式网络威胁判断技术，提高探知网络活动的精度、频度和速度，从而及早暴露和防范对手的破坏活动，并提升己方的网络安全水平。寻求研究新的方法检测军方计算机网络中的符合网络间谍特征的活动，旨在提高检测网络威胁的准确度、比例与速度。

3)洞察力项目。以解决当前情报、监视与侦察系统中的重要不足，旨在研发一种资源管理系统，通过分析成像和非成像传感器及其他来源的信息，自动识别威胁网络和非常规作战行动。

4)机器读取项目。通过研发学习系统，处理自然文本并在知识库中插入产生的语义表示，而非依赖于当前用于知识表达昂贵且费时的处理过程。

5)“心灵之眼”项目。旨在开发一种可在机器上应用的“可视化情报”能力。

6)面向任务的弹性“云”项目。旨在开发检测、诊断和应对攻击的技术，为“云”计算环境建立有效的“社区卫生服务体系”，应对“云”计算中固有的安全挑战。

7)加密数据的编程运算项目。旨在为运算中的数据开发其在应用的整个过程中保持加密状态所需的切实可行的做法与相关的现代编程语言，克服在“云”计算环境内信息安全面临的主要挑战。

8)影像检索与分析项目。其目的是开发一套系统，使军事图像分析员有能力开发收集到的大量视频内容，使分析员能够为有价值的活动与事件建立起预警功能。该项目一旦取得成功，分析人员将能从海量视频库中快速、精确地检索特定的视频内容，由此便能充分、高效地挖掘影像中隐藏的有用信息。

9)X-数据项目。该项目的主要内容是：通过开发大容量数据分析所需的可扩展算法，以便处理分布式数据存储库中的不规则数据;通过开发高效的人机互动设备和可视用户界面技术，以便在多样化任务中更好、更快地执行操作。旨在为分析大量半结构化和非结构化数据开发计算技术和软件工具，主要解决处理分布式数据存储中不完整数据的可扩展算法，以及用于各种任务、可迅速定制，方便视觉推理的有效的人机交互工具。

10)数据到决策项目。该项目的主要内容是：首先，通过各种新途径充分利用海量数据，整合感知、认知和决策保障系统，以创造一种真正自主的系统，使之可以自主机动作业并做出决策;其次，提高态势感知水平，以协助作战人员和分析人员，并为作战行动提供更好的保障。国防部正在研发新技术，以使分析员从各种语言的文本中获取信息的能力提高100倍，目的是使分析员查知各类目标、活动和事情的能力取得相似程度的提升。

目前，在《大数据研发倡议》中，国防部仅负责数据到决策这一个项目;国防高级研究计划局负责其余的9个项目，并已经开始启动X-数据项目。

美军大数据项目研发的进展

美国政府除正式出台了大数据研发政策文件外，还在组织机构上对大数据研发项目加强了管理，在资金上加大了投入。

美国白宫科技政策办公室专门成立了“大数据高级指导小组”，以协调和推动政府在这一关键领域的投入。

报告“设计数据化未来”认为，联邦政府在大数据相关技术上投入不足。针对此问题，国防部除了承担在“大数据研发倡议”中的任务外，每年还将通过一系列项目，在军事部门中投入约2.5亿美元用于大数据研发，其中6000万美元用于新设立的研究项目。此外国防高级研究计划局已开始研发的X-数据项目每年耗资约2500万美元，并将持续4年。

国防部还与一些知名大学和大型企业签订了有关大数据项目的合同，以便充分利用知名大学的人才资源和大型企业的技术优势，提高研发效率。例如，2011年，国防高级研究计划局同佐治亚理工学院签订了一份价值270万美元的技术研发合同，以帮助解决大数据的技术挑战。该合同属于X-数据项目的组成部分，以解决可扩展分析和数据处理技术难题。2013年2月5日，Continuum Analytics公司宣布，已收到计划局300万美元的研究经费，为大型多维度数据集的交互搜索开发Numpy、SciPy和可视化技术。

此外，为了推动大数据领域的创新，以满足各类要求，美国国防部还将举办一系列公开的大奖赛，以提高科技人员的积极性和主动精神。