大数据交付的7个步骤

首先，他们需要知道什么是大数据。如下是我如何定义大数据这一概念：

“新兴技术和实践方案，使收集、处理、发现和储存大量结构化和非结构化数据变得快速而富有成本效益。”

大数据涵盖了众多社会生活的范畴——从金融交易到人类基因组，从汽车的遥测传感器到互联网上社会媒体日志。利用传统的数据库方式来处理和存储这些大数据是相当昂贵的。为了解决这个问题的新技术，利用开放源解决方案和商业硬件高效存储数据，并行工作负载，提供快速处理能力。

随着越来越多的IT部门开始研究大数据的替代品，讨论中心栈，处理速度和平台。而这些IT部门无法很好的把握其现有技术的局限性，许多不能阐明这些替代方案的商业价值，更遑论他们将如何进行分类和优先级的数据排序，进入大数据治理。

事实上，我们所看到的新出现的大数据需求，以及关于其处理平台和流程的讨论只是大数据传输整体的一部分。在现实中，实现的全部潜在大数据的交付过程，需要七个步骤：

收集：从数据源和分布在多个节点处收集数据——通常是一个网格——每个进程的一个子集，并行数据。

流程：然后系统使用相同的高功率并行执行，对每个节点上的数据进行快速计算。节点“压缩”结果数据到更多的消费数据，由此产生的数据集可以被人工（在分析的情况下）或机器（在解释大型结果的情况下）使用。

管理：正在处理大数据往往是异构的，来自不同的交易系统。这些数据通常需要理解、定义、注释，并且以安全起见，还要进行扫描和审核。

测量：公司往往会测量数据的速率，可与其他客户的行为或记录进行整合，并随时间的推移来决定是否对其进行整合或校正。业务要求应告知测量和持续跟踪的类型。

消耗：所产生的使用数据应符合原要求的处理流程。例如，如果利用几百TB的社会化媒体数据互动，有助于我们了解社会媒体数据如何驱动用户额外购买产品，那么我们应该建立社会媒体的数据应当如何被访问和更新的规则。这与机器对机器的数据访问是同样重要的。

存储：由于“数据即服务”趋势的形成，越来越多的数据开始存储在单一位置，以便于进程的访问。数据用于短期的存储批处理或长期保留，应审慎处理存储解决方案。

数据管理：数据治理是驱动业务的决策和监督数据。根据数据治理的定义，数据治理适用于六个前阶段的大数据传输。通过建立流程和指导原则，制裁围绕数据的行为。大数据需要根据其预期消费进行管辖。其他的风险是对于数据分配的不满，更不用说过度投资。

大多数工作人员负责调查和获取大数据解决方案侧重于收集和存储步骤，而牺牲了其他的步骤。他们的问题是：“我们如何收集所有这些数据，我们把这些数据存储在何处？”

但许多IT部门仍然逃避了定义离散的大数据业务需求的进程。而业务人士经常将大数据的趋势看成只是一个IT重新整修的借口，没有明确的终点的游戏。这种相互嘲讽的环境就是为什么大数据没有超越“前期调查阶段”的罪魁祸首。

正如“ITBusinessEdge”一书的作者洛林劳森在其最近的博客中所说，“确保您的分享是合理性的唯一途径是要保证你有一套有效的管理大数据的计划。”

挖掘数据治理进程，尽大的努力确保数据：

 商业价值和理想的结果是明确的

 处理关键数据的相关政策已经被批准

 专业知识应用到大数据问题

 定义关键数据的规则是明确的

 冲突和问题升级有一个过程

 数据管理——执行数据治理政策的战术是相关的

 在关键问题发展阶段有决策权的

 执行数据隐私政策

总之，数据治理意味着大数据的应用程序是有用的和相关的。这一保险政策是一个正确的问题。确保我们不会浪费新的大数据，使得处理、存储和交付速度更具成本效益，比以往的技术更灵活。