华为nosql数据库,华为大数据库

什么是NoSQL数据库？

2. 什么是NoSQL？

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名注册、雅安服务器托管、营销软件、网站建设、香格里拉网站维护、网站推广。

2.1 NoSQL 概述

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，

泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。

（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

2.2 NoSQL代表

MongDB、 Redis、Memcache

3. 关系型数据库与NoSQL的区别？

3.1 RDBMS

高度组织化结构化数据

结构化查询语言（SQL）

数据和关系都存储在单独的表中。

数据操纵语言，数据定义语言

严格的一致性

基础事务

ACID

关系型数据库遵循ACID规则

事务在英文中是transaction，和现实世界中的交易很类似，它有如下四个特性：

A (Atomicity) 原子性

原子性很容易理解，也就是说事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。比如银行转账，从A账户转100元至B账户，分为两个步骤：1）从A账户取100元；2）存入100元至B账户。这两步要么一起完成，要么一起不完成，如果只完成第一步，第二步失败，钱会莫名其妙少了100元。

C (Consistency) 一致性

一致性也比较容易理解，也就是说数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。

I (Isolation) 独立性

所谓的独立性是指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户，在这个交易还未完成的情况下，如果此时B查询自己的账户，是看不到新增加的100元的

D (Durability) 持久性

持久性是指一旦事务提交后，它所做的修改将会永久的保存在数据库上，即使出现宕机也不会丢失。

3.2 NoSQL

代表着不仅仅是SQL

没有声明性查询语言

没有预定义的模式

键 - 值对存储，列存储，文档存储，图形数据库

最终一致性，而非ACID属性

非结构化和不可预知的数据

CAP定理

高性能，高可用性和可伸缩性

分布式数据库中的CAP原理(了解)

CAP定理：

Consistency(一致性), 数据一致更新，所有数据变动都是同步的

Availability(可用性), 好的响应性能

Partition tolerance(分区容错性) 可靠性

P: 系统中任意信息的丢失或失败不会影响系统的继续运作。

定理：任何分布式系统只可同时满足二点，没法三者兼顾。

CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，

因此，根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类：

CA - 单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。

CP - 满足一致性，分区容忍性的系统，通常性能不是特别高。

AP - 满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。

CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。

而由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须需要实现的。

所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。

说明：C：强一致性 A：高可用性 P：分布式容忍性

举例：

CA：传统Oracle数据库

AP：大多数网站架构的选择

CP：Redis、Mongodb

注意：分布式架构的时候必须做出取舍。

一致性和可用性之间取一个平衡。多余大多数web应用，其实并不需要强一致性。

因此牺牲C换取P，这是目前分布式数据库产品的方向。

4. 当下NoSQL的经典应用

当下的应用是 SQL 与 NoSQL 一起使用的。

代表项目：阿里巴巴商品信息的存放。

去 IOE 化。

ps：I 是指 IBM 的小型机，很贵的，好像好几万一台；O 是指 Oracle 数据库，也很贵的，好几万呢；M 是指 EMC 的存储设备，也很贵的。

难点：

数据类型多样性。

数据源多样性和变化重构。

数据源改造而服务平台不需要大面积重构。

NoSQL 数据库：何时使用 NoSQL 与 SQL？

NoSQL 数据库因其功能性、易于开发性和可扩展性而广受认可，它们越来越多地用于大数据和实时 Web 应用程序，在本文中，我们通过示例讨论 NoSQL、何时使用 NoSQL 与 SQL 及其用例。

NoSQL是一种下一代数据库管理系统 (DBMS)。NoSQL 数据库具有灵活的模式，可用于构建具有大量数据和高负载的现代应用程序。

“NoSQL”一词最初是由 Carlo Strozzi 在 1998 年创造的，尽管自 1960 年代后期以来就已经存在类似的数据库。然而，NoSQL 的发展始于 2009 年初，并且发展迅速。

在处理大量数据时，任何关系数据库管理系统 (RDBMS) 的响应时间都会变慢。为了解决这个问题，我们可以通过升级现有硬件来“扩大”信息系统，这非常昂贵。但是，NoSQL 可以更好地横向扩展并且更具成本效益。

NoSQL 对于非结构化或非常大的数据对象（例如聊天日志数据、视频或图像）非常有用，这就是为什么 NoSQL 在微软、谷歌、亚马逊、Meta (Facebook) 等互联网巨头中特别受欢迎的原因。

一些流行的 NoSQL 数据库包括：

随着企业更快地积累更大的数据集，结构化数据和关系模式并不总是适合。有必要使用非结构化数据和大型对象来更好地捕获这些信息。

传统的 RDBMS 使用 SQL（结构化查询语言）语法来存储和检索结构化数据，相反，NoSQL 数据库包含广泛的功能，可以存储和检索结构化、半结构化、非结构化和多态数据。

有时，NoSQL 也被称为“ 不仅仅是 SQL ”，强调它可能支持类似 SQL 的语言或与 SQL 数据库并列。SQL 和 NoSQL DBMS 之间的一个区别是 JOIN 功能。SQL 数据库使用 JOIN 子句来组合来自两个或多个表的行，因为 NoSQL 数据库本质上不是表格的，所以这个功能并不总是可行或相关的。

但是，一些 NoSQL DBMS 可以执行类似于 JOIN的操作——就像 MongoDB 一样。这并不意味着不再需要 SQL DBMS，相反，NoSQL 和 SQL 数据库倾向于以不同的方式解决类似的问题。

一般来说，在以下情况下，NoSQL 比 SQL 更可取：

许多行业都在采用 NoSQL，取代关系数据库，从而为某些业务应用程序提供更高的灵活性和可扩展性，下面给出了 NoSQL 数据库的一些企业用例。

内容管理是一组用于收集、管理、传递、检索和发布任何格式的信息的过程，包括文本、图像、音频和视频。NoSQL 数据库可以通过其灵活和开放的数据模型为存储多媒体内容提供更好的选择。

例如，福布斯在短短几个月内就构建了一个基于 MongoDB 的定制内容管理系统，以更低的成本为他们提供了更大的敏捷性。

大数据是指太大而无法通过传统处理系统处理的数据集，实时存储和检索大数据的系统在分析 历史 数据的同时使用流处理来摄取新数据，这是一系列非常适合 NoSQL 数据库的功能。

Zoom使用 DynamoDB（按需模式）使其数据能够在没有性能问题的情况下进行扩展，即使该服务在 COVID-19 大流行的早期使用量激增。

物联网设备具有连接到互联网或通信网络的嵌入式软件和传感器，能够在无需人工干预的情况下收集和共享数据。随着数十亿台设备生成数不清的数据，IoT NoSQL 数据库为 IoT 服务提供商提供了可扩展性和更灵活的架构。

Freshub就是这样的一项服务，它从 MySQL 切换到 MongoDB，以更好地处理其大型、动态、非统一的数据集。

拥有数十亿智能手机用户，可扩展性正成为在移动设备上提供服务的企业面临的最大挑战。具有更灵活数据模型的 NoSQL DBMS 通常是完美的解决方案。

例如，The Weather Channel使用 MongoDB 数据库每分钟处理数百万个请求，同时还处理用户数据并提供天气更新。

nosql数据库的四种类型

一般将NoSQL数据库分为四大类：键值(Key-Value)存储数据库、列存储数据库、文档型数据库和图形(Graph)数据库。它们的数据模型、优缺点、典型应用场景。

键值(Key-Value)存储数据库Key指向Value的键值对，通常用hash表来实现查找速度快数据无结构化(通常只被当作字符串或者二进制数据)内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等。

列存储数据库，以列簇式存储，将同一列数据存在一起查找速度快，可扩展性强，更容易进行分布式扩展功能相对局限分布式的文件系统。

文档型数据库，Key-Value对应的键值对，Value为结构化数据，数据结构要求不严格，表结构可变(不需要像关系型数据库一样需预先定义表结构)，查询性能不高，而且缺乏统一的查询语法，Web应用。

图形(Graph)数据库，图结构，利用图结构相关算法(如最短路径寻址，N度关系查找等)，很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案，社交网络，推荐系统等。

企业数据上云必有一战，华为云12.12云数据库2折起

每年的Gartner全球数据库魔力象限都会对未来三年的市场进行预测，而2020年的预测相比于2019年的预测出现一个显著的变化，那就是全球75%数据库将被部署或迁移到云平台的时间表提前了一年——从2023年提前到了2022年。进入2020年底，我们将迎来数据库行业的世纪之战，企业数据上云与治理面临着重大抉择：本地数据库与云数据库的PK。特别是受2020全球疫情的影响，越来越多的企业正加速数字化转型，云数据库以及云上数据治理的时代将很快到来。

2020年12月12日双十二之际，华为云打出了云数据库2折起的大幅折扣，包括：MySQL等热门云数据库 2折起、迁移上云再加送6个月；GaussDB系列、数据管理服务DAS企业版等热销产品低至5折；数据加速与治理产品中也有Redis 4折的惊喜优惠。2020年又是华为云推出全场景数据库云服务GaussDB的第一年，而在2020年底打出云数据库2折起的大力度促销，彰显了华为云开打2021企业数据上云之战的决心。

2020年的一场疫情，让很多企业都将数字化转型提速，特别是让本来需要几年才能下的数字化转型决心和决定缩短到几个月；而新基建的推出，更刺激了基于数字技术的融合基础设施的大规模建设。无论是加速的数字化转型、急于上线的各种在线和互联网业务，还是筹建中的融合基础设施新基建，都为CIO们带来了头痛的问题：数据库的选型。

那么CIO怎么解决云数据库的选型难题呢？华为云数据库业务总裁苏光牛认为，CIO选型数据库，最常见的其实没有变化，就是稳定性和性能，以及云技术出现之后的扩展性和灰度等能力。但对于很多企业，特别是有 历史 遗留系统的，都涉及一个古老但无法回避的问题就是：生态。也就是如果招聘的DBA多是搞PostgreSQL，那么企业怎么能选择MySQL？反之亦然。或者当熟悉某个数据库的DBA干了几十年，又怎么转向另外一种数据库？

转型是必然的。数字化智能化升级，必然要求数据库跟上，苏光牛认为生态必须是开放的，否则就从一个火坑跳入另外一个火坑。选型之后，CIO都普遍担心，迁移的工作量有多大？CIO都需要有能自动化转换或者评估的工具，能把非确定的工作量转化为确定性的计划。然后就需要考虑迁移是否会中断或者中断多久，业务切换需要多久，对于在线迁移来说还要可控制的切换时间；随之，要考虑数据是否会丢失，因为从一个系统迁移到另一个系统，不可能100%覆盖所有的功能测试，没有覆盖到数据是否就丢失了，当然还要考虑数据安全等问题。

最后，必然要考虑成本以及让数据“活”起来。苏光牛认为，控制成本的最好方式是存储的融合，计算和存储分离的架构；而让数据活起来，就是要让存储的数据在不同系统之间流动起来，通过大的存储资源池解决数据孤岛问题，当然更好的数据迁移工具也能配合解决问题。

2020年11月，在Gartner发布的2020全球云数据库魔力象限中，华为云凭借GaussDB系列产品首次晋级全球顶级云数据库行列。Gartner对华为云的评价是：华为云专注于提供全面的混合堆栈，构建了全面、稳健的产品组合，能够满足跨云和本地环境的全方位数据管理用例，其许多产品与云基础架构紧密集成，以提供增强的性能和可靠性。Gartner还认为，华为在全球电信和网络行业有很强的影响力，很多为管理华为全球行业业务而构建的数据管理能力，面向政企行业普遍可用。

2020年下半年，华为云宣布GaussDB数据库战略升级为华为云数据库全场景服务，以及发布GaussDB云数据库服务GaussDB（for MySQL）、GaussDB（openGauss）以及GaussDB NoSQL，而GaussDB NoSQL非关系型数据库则支持MongoDB、Cassandra、时序InfluxDB、KV数据库Redis等，具有多模式数据管理能力。

就GaussDB来说，通过计算和存储分离实现分布式处理，在一套架构下，可以对接MySQL、PostgreSQL、MongoDB、Cassandra等多种开源数据库引擎，实现这些开源数据库的良好商用性能。GaussDB以华为云为底座，保证了良好可扩展性、弹性、安全可靠等性能要求，特别是通过底层统一的智能化DFV分布式存储架构，满足企业上云对于云数据库的各种需求。

在数据迁移方面，华为云推出的数据库和应用迁移 UGO，是一款专注于异构数据库对象迁移和应用迁移的专业化工具，而华为云数据复制服务DRS，支持更大数据量、更长时间等多种复杂迁移场景，支持数据库上云和云上业务数据实时回传至云外的混合云架构。UGO+DRS形成了完整的迁移产品形态。

GaussDB是为政企打造的数据库一站式上云解决方案，提供全场景数据管理业务、全开放生态和安全可信，彻底解决政企以及互联网行业在数据库选型方面的痛点，真正做到数据库选型安心、迁移放心、管理省心。

苏光牛表示：“华为将持续战略投入数据库，布局全球7大区域囊括1000+数据库专家与人才。此次战略升级是华为云数据库积极构建高安全、高可靠、高性能的全场景云服务，拥抱开源生态的具体举措，华为云GaussDB数据库会持续打造多元生态服务，全方位满足客户的需求，加速政企客户数字化创新发展。”

正如Gartner所观察到的，如今华为云数据库业务在亚太地区，尤其是中国市场实现规模化部署，其中超过一半的客户来自公共管理、电信、金融保险等行业。华为云数据库，特别是GaussDB能够被广大政企用户认可，这首先来自于经历了华为内部的千锤百炼。从2007年开始，就因为华为的无线、网络、交换机等产品而发展起来了GaussDB，从2009年开始基于存算分离的架构而考虑分布式数据库的设计，2015年起基于广泛认知的生态如MySQL或者PostgreSQL等以及NoSQL数据库，逐步推出了分布式的数据库，同时还打造华为自己的openGauss生态。

2020年，华为云数据库品牌更加清晰，GaussDB是华为自有数据库品牌，既兼容MySQL、PostgreSQL等广泛认知的生态，又有自有的生态openGauss，openGauss于2020年6月正式对外开源。苏光牛强调，华为公司将长期投入GaussDB的开发，基于混合云和公有云的方式，联合ISV等伙伴一起，全方位服务好客户。

总结下来，GaussDB有四大特色：第一，开放的生态，拥抱开源生态的同时，打造华为自有生态。华为云认为未来一定是开放的生态，开放的生态才能保护客户投资，避免从一个封闭体系走向另外一个封闭体系。

第二，存算分离的架构，数据库的稳定性是第一位的，特别是交易型数据库，华为云数据库最核心的特色是存储的稳定性。华为云GaussDB基于与企业存储相同的分布式存储架构，经过千行百业的磨炼而不仅仅是单一的某种交易流量，另外各种存储能力如重删、压缩、跨AZ等特性让快速备份恢复、性价比都具备非常好的优势。

第三，安全合规，GaussDB经过了ICSL的安全认证，以及很多白盒的代码层面的认证。特别是随着欧洲GDPR等标准的实施，以及政企对数据安全性要求的增加，华为云GaussDB的代码级、架构级别安全设计，以及多年来在电信级高标准行业的锤炼，经历了很多实际客户的严苛考验，让政企在使用数据库的时候更加放心。

第四，软硬件全栈协同。华为云具备软硬件全栈研发的实力，无论存储底座和RDMA高速网络，还是虚拟化和容器之上的性能调优，以及GuestOS上的协议栈优化，特别是基于云技术之后的全栈优化和云服务能力，更加是华为云的优势。

当然，更为重要的是，云数据库采用云的模式实现了数据库运维管理的集中化，极大简化了数据库的安装、部署、配置、迁移和优化，大幅提升运维管理效率，让政企可以投入更多精力聚焦在核心业务创新上。

总结而言： 企业数据上云和云上数据治理将成为2021年政企数字化转型的重中之重，各大技术厂商都在争夺云数据库市场份额。以华为云全场景数据库GaussDB为代表的新一代云数据库，将满足政企数字化转型的全面需求。特别是以华为云和华为云Stack为底座，GaussDB可以跨公有云以及企业本地部署，其技术符合云及企业本地的要求，同时具有华为云的高性能、高可用、高安全等保证，可以说政企数字化转型的全场景保障！（文/宁川）

一、NoSQL数据库简介

Web1.0的时代，数据访问量很有限，用一夫当关的高性能的单点服务器可以解决大部分问题。

随着Web2.0的时代的到来，用户访问量大幅度提升，同时产生了大量的用户数据。加上后来的智能移动设备的普及，所有的互联网平台都面临了巨大的性能挑战。

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。

NoSQL 不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。

Memcache Memcache Redis Redis MongoDB MongoDB 列式数据库 列式数据库 Hbase Hbase

HBase是Hadoop项目中的数据库。它用于需要对大量的数据进行随机、实时的读写操作的场景中。

HBase的目标就是处理数据量非常庞大的表，可以用普通的计算机处理超过10亿行数据，还可处理有数百万列元素的数据表。

Cassandra Cassandra

Apache Cassandra是一款免费的开源NoSQL数据库，其设计目的在于管理由大量商用服务器构建起来的庞大集群上的海量数据集(数据量通常达到PB级别)。在众多显著特性当中，Cassandra最为卓越的长处是对写入及读取操作进行规模调整，而且其不强调主集群的设计思路能够以相对直观的方式简化各集群的创建与扩展流程。

主要应用：社会关系，公共交通网络，地图及网络拓谱(n*(n-1)/2)

什么是NoSQL数据库

什么是NoSQL数据库？从名称“非SQL”或“非关系型”衍生而来，这些数据库不使用类似SQL的查询语言，通常称为结构化存储。这些数据库自1960年就已经存在，但是直到现在一些大公司（例如Google和Facebook）开始使用它们时，这些数据库才流行起来。该数据库最明显的优势是摆脱了一组固定的列、连接和类似SQL的查询语言的限制。有时，NoSQL这个名称也可能表示“不仅仅SQL”，来确保它们可能支持SQL。 NoSQL数据库使用诸如键值、宽列、图形或文档之类的数据结构，并且可以如JSON之类的不同格式存储。