大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
一:传统数据库
创新互联公司 - 遂宁服务器托管,四川服务器租用,成都服务器租用,四川网通托管,绵阳服务器托管,德阳服务器托管,遂宁服务器托管,绵阳服务器托管,四川云主机,成都云主机,西南云主机,遂宁服务器托管,西南服务器托管,四川/成都大带宽,成都机柜租用,四川老牌IDC服务商
(1)传统索引不适于海量数据
传统行存数据库索引需要手工设定,对应用不完全透明,随场景和需求的变化需要不断调整,人工维护成本很高。并且传统索引占用存储空间很大,甚至高于数据本身,造成查询效率的下降。
(2)数据装载速度慢
因为索引需要重新创建,加载性能会变的很糟糕。分析型架构系统要解决这些个问题,必须最大限度地减少磁盘 I/O ,提升查询效率,减小人工维护成本。南大通用分析型数据库GBase8a (以下简称GBase 8a)通过列存储模式、数据压缩、智能化的索引、并行处理、并发控制、高效的查询优化器等技术,使得上述问题得到有效解决。以下各节将描述 GBase 8a 的创新架构如何实现这些目标。
二:新型数据库
新型数据库采用分布式并行计算架构,部署于X86通用服务器,满足大数据实时交易需求,成本低、扩展性高,突破了传统数据库性能瓶颈。
分布式非关系型数据库技术创新
非关系型数据库即NoSQL,抛弃了关系数据库复杂的关系操作、事务处理等功能,仅提供简单的键值对(Key, Value)数据的存储与查询,换取高扩展性和高性能,满足论坛、博客、SNS、微博等互联网类应用场景下针对海量数据的简单操作需求。主要技术创新为:
(1) 简单的数据操作换取高效响应。NoSQL仅支持按照Key(关键字)来存储和查询Value(数据),不支持对非关键字数据列的高效查询;因数据操作简单、数据间一般不需要关联操作,故系统可支持高并发和较快的响应速度。
(2) 多种一致性策略满足业务需求。不同于传统关系型数据库仅支持强一致性策略,NoSQL还支持弱一致性和最终一致性等多种策略,可根据应用场景进行对应配置。例如,对写入操作频繁,但数据读取最新版本要求并不严格的应用,如互联网网页数据的存储和分析应用,可以采用最终一致性策略;而对订购关系存储的应用,则必须用强一致性策略,保证总是读取最新版本数据
NoSQL薄弱的安全性会给企业带来负面影响 。Imperva公司创始人兼CTO Amichai Shulman如是说。在新的一年中,无疑会有更多企业开始或筹划部署NoSQL。方案落实后就会逐渐发现种种安全问题,因此早做准备才是正确的选择。 作为传统关系型数据库的替代方案,NoSQL在查询中并不使用SQL语言,而且允许用户随时变更数据属性。此类数据库以扩展性良好著称,并能够在需要大量应用程序与数据库本身进行实时交互的交易处理任务中发挥性能优势,Couchbase创始人兼产品部门高级副总裁James Phillips解释称:NoSQL以交易业务为核心。它更注重实时处理能力并且擅长直接对数据进行操作,大幅度促进了交互型软件系统的发展。Phillips指出。其中最大的优势之一是能够随时改变(在属性方面),由于结构性的弱化,修改过程非常便捷。 NoSQL最大优势影响其安全性 NoSQL的关键性特色之一是其动态的数据模型,Shulman解释道。我可以在其运作过程中加入新的属性记录。因此与这种结构相匹配的安全模型必须具备一定的前瞻性规划。也就是说,它必须能够了解数据库引入的新属性将引发哪些改变,以及新加入的属性拥有哪些权限。然而这个层面上的安全概念目前尚不存在,根本没有这样的解决方案。 根据Phillips的说法,某些NoSQL开发商已经开始着手研发安全机制,至少在尝试保护数据的完整性。在关系型数据库领域,如果我们的数据组成不正确,那么它将无法与结构并行运作,换言之数据插入操作整体将宣告失败。目前各种验证规则与完整性检查已经比较完善,而事实证明这些验证机制都能在NoSQL中发挥作用。我们与其他人所推出的解决方案类似,都会在插入一条新记录或是文档型规则时触发,并在执行过程中确保插入数据的正确性。 Shulman预计新用户很快将在配置方面捅出大娄子,这并非因为IT工作人员的玩忽职守,实际上主要原因是NoSQL作为一项新技术导致大多数人对其缺乏足够的知识基础。Application Security研发部门TeamSHATTER的经理Alex Rothacker对上述观点表示赞同。他指出,培训的一大问题在于,大多数NoSQL的从业者往往属于新生代IT人士,他们对于技术了解较多,但往往缺乏足够的安全管理经验。 如果他们从传统关系型数据库入手,那么由于强制性安全机制的完备,他们可以在使用中学习。但NoSQL,只有行家才能通过观察得出正确结论,并在大量研究工作后找到一套完备的安全解决方案。因此可能有90%的从业者由于知识储备、安全经验或是工作时间的局限而无法做到这一点。 NoSQL需在安全性方面进行优化 尽管Phillips认同新技术与旧经验之间存在差异,但企业在推广NoSQL时加大对安全性的关注会起到很大程度的积极作用。他认为此类数据存储机制与传统关系类数据库相比,其中包含着的敏感类信息更少,而且与企业网络内部其它应用程序的接触机会也小得多。 他们并不把这项新技术完全当成数据库使用,正如我们在收集整理大量来自其它应用程序的业务类数据时,往往也会考虑将其作为企业数据存储机制一样,他补充道。当然,如果我打算研发一套具备某种特定功能的社交网络、社交游戏或是某种特殊web应用程序,也很可能会将其部署于防火墙之下。这样一来它不仅与应用程序紧密结合,也不会被企业中的其它部门所触及。 但Rothacker同时表示,这种过度依赖周边安全机制的数据库系统也存在着极其危险的漏洞。一旦系统完全依附于周边安全模型,那么验证机制就必须相对薄弱,而且缺乏多用户管理及数据访问方面的安全保护。只要拥有高权限账户,我们几乎能访问存储机制中的一切数据。举例来说,Brian Sullivan就在去年的黑帽大会上演示了如何在完全不清楚数据具体内容的情况下,将其信息罗列出来甚至导出。 而根据nCircle公司CTO Tim ‘TK’ Keanini的观点,即使是与有限的应用程序相关联,NoSQL也很有可能被暴露在互联网上。在缺少严密网络划分的情况下,它可能成为攻击者窥探存储数据的薄弱环节。因为NoSQL在设计上主要用于互联网规模的部署,所以它很可能被直接连接到互联网中,进而面临大量攻击行为。 其中发生机率最高的攻击行为就是注入式攻击,这也是一直以来肆虐于关系类数据库领域的头号公敌。尽管NoSQL没有将SQL作为查询语言,也并不代表它能够免受注入式攻击的威胁。虽然不少人宣称SQL注入在NoSQL这边不起作用,但其中的原理是完全一致的。攻击者需要做的只是改变自己注入内容的语法形式,Rothacker解释称。也就是说虽然SQL注入不会出现,但JavaScript注入或者JSON注入同样能威胁安全。 此外,攻击者在筹划对这类数据库展开侵袭时,也很可能进一步优化自己的工具。不成熟的安全技术往往带来这样的窘境:需要花费大量时间学习如何保障其安全,但几乎每个IT人士都能迅速掌握攻击活动的组织方法。因此我认为攻击者将会始终走在安全部署的前面,Shulman说道。遗憾的是搞破坏总比防范工作更容易,而我们已经看到不少NoSQL技术方面的公开漏洞,尤其是目前引起热议的、以JSON注入为载体的攻击方式。 NoSQL安全性并非其阻碍 然而,这一切都不应该成为企业使用NoSQL的阻碍,他总结道。我认为归根结底,这应该算是企业的一种商业决策。只要这种选择能够带来吸引力巨大的商业机遇,就要承担一定风险,Shulman解释道。但应该采取一定措施以尽量弱化这种风险。 举例来说,鉴于数据库对外部安全机制的依赖性,Rothacker建议企业积极考虑引入加密方案。他警告称,企业必须对与NoSQL相对接的应用程序代码仔细检查。换言之,企业必须严格挑选负责此类项目部署的人选,确保将最好的人才用于这方面事务,Shulman表示。当大家以NoSQL为基础编写应用程序时,必须启用有经验的编程人员,因为客户端软件是抵挡安全问题的第一道屏障。切实为额外缓冲区的部署留出时间与预算,这能够让员工有闲暇反思自己的工作内容并尽量多顾及安全考量多想一点就是进步。综上所述,这可能与部署传统的关系类数据库也没什么不同。 具有讽刺意味的是,近年来数据库应用程序在安全性方面的提升基本都跟数据库本身没什么关系,nCircle公司安全研究及开发部门总监Oliver Lavery如是说。
非关系型数据库严格上不是一种数据库,应该是一种数据结构化存储方法的集合,可以是文档或者键值对等。当初我在黑马程序员培训时候就学过。
优点:
1、格式灵活:存储数据的格式可以是key,value形式、文档形式、图片形式等等,文档形式、图片形式等等,使用灵活,应用场景广泛,而关系型数据库则只支持基础类型。
2、速度快:nosql可以使用硬盘或者随机存储器作为载体,而关系型数据库只能使用硬盘;
3、高扩展性;
4、成本低:nosql数据库部署简单,基本都是开源软件。
缺点:
1、不提供sql支持,学习和使用成本较高;
2、无事务处理;
3、数据结构相对复杂,复杂查询方面稍欠。
非关系型数据库的分类和比较:
1、文档型
2、key-value型
3、列式数据库
4、图形数据库
1. 键值数据库
相关产品:Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached
应用:内容缓存
优点:扩展性好、灵活性好、大量写操作时性能高
缺点:无法存储结构化信息、条件查询效率较低
使用者:百度云(Redis)、GitHub(Riak)、BestBuy(Riak)、Twitter(Ridis和Memcached)
2. 列族数据库
相关产品:BigTable、HBase、Cassandra、HadoopDB、GreenPlum、PNUTS
应用:分布式数据存储与管理
优点:查找速度快、可扩展性强、容易进行分布式扩展、复杂性低
使用者:Ebay(Cassandra)、Instagram(Cassandra)、NASA(Cassandra)、Facebook(HBase)
3. 文档数据库
相关产品:MongoDB、CouchDB、ThruDB、CloudKit、Perservere、Jackrabbit
应用:存储、索引并管理面向文档的数据或者类似的半结构化数据
优点:性能好、灵活性高、复杂性低、数据结构灵活
缺点:缺乏统一的查询语言
使用者:百度云数据库(MongoDB)、SAP(MongoDB)
4. 图形数据库
图形数据库-使用图作为数据模型来存储数据。
相关产品:Neo4J、OrientDB、InfoGrid、GraphDB
应用:大量复杂、互连接、低结构化的图结构场合,如社交网络、推荐系统等
优点:灵活性高、支持复杂的图形算法、可用于构建复杂的关系图谱
缺点:复杂性高、只能支持一定的数据规模
使用者:Adobe(Neo4J)、Cisco(Neo4J)、T-Mobile(Neo4J)
个人不认为nosql在少量数据存储上有啥优势。nosql主要解决的是auto sharding的问题,你不需要sharding,搞啥nosql. 作者:方圆 链接:
Apache三剑客:HBase, Cassandra, CouchDB。HBase的前景最为看好,因为它的开发者众多并且都是顶尖高手。Cassandra目前有很多否定的声音。CouchDB的小而精悍,赞誉很多,将要正式发布的CouchBase融合了MemBase和CouchDB,很令人期待。
HBase和Cassandra都是效仿Google的BigTable的基于列的数据库,它们都是用Java写的。另外一类似的数据库是HyperTable,百度用在一些后台分析,因为它是C++写的,速度比较快。不过HyperTable有点边缘,不太流行。这些基于列的开源数据库目前都比Goolge的BigTable差之少一个数量级
CouchDB是一个文档数据库。其最大的竞争者是MongoDB。MongoDB和HBase都采用主从服务器设计。CouchDB的服务器分布设计和Cassandra类似,Peer to Peer类型的。主从服务器设计一般能更好的strong consistent,属于CAP理论中的CP类型。 CouchDB和Cassandra一般认为都是eventual consistent,属于CAP理论中的AP类型。但其实MongoDB和Cassandra都可以设置成strong consistent或者eventual consistent。
以上所提到的数据库都支持MapReduce。好像出了HyperTable都支持非主键索引。HBase和strong consistent配置的MongoDB都支持最基本的锁定(HBase单行锁定,MongoDB单文档锁定),因此可以实现transaction,但是实现有点复杂和低效。单就transaction这一点,目前开源NoSQL数据库没有做的比较好的。
MongoDB的最大卖点是不需构建非主键索引也能执行很多查询。但是MongoDB的服务器分布设计实在不能让人恭维,可以说是NoSQL数据库中最Ugly的实现。
K-V数据库比较多,而且上面提到的基于列的数据库和文档数据库其实也都是K-V数据库。比较流行的纯种K-V数据库有:
Memcached: 非常流行,不支持持久化
VMWare's Redis: 很流行,新浪和知乎都在用,CP类型。
MemBase: 由很多Memcached的开发者开发,使用sqlite作底层存储。在社交游戏中用的比较多, zynga在用,CP类型。
Riak, 分布式实现和CouchDB/Cassandra比较像,AP类型。支持MapReduce。
Linkin's Voldemort, 在K-V中少见的eventual consistent ,AP类型。
TT, TC
纯基于二维座标索引的是Neo4j。但是现在MongoDB和CouchDB都集成这一特性。
目前CouchDB的开发者成立的公司CouchOne收购了MemBase,将其底层sqlite换成CouchDB推出了CouchBase,从而引入MapReduce以支持非主键索引。CouchBase暂时还没有正式发布官方正式版,不过快了。虽然CouchDB是eventual consistent的,但是CouchBase的开发者宣称CouchBase保持了MemBase的strong consistent特性,具体实现有待以后研究。
如果从成熟的角度来看,比较成熟并且十分流行的的有CouchDB,Memcached,Redis。
HBase和MongonDB和Cassandra都比较新,处于频繁更新之中。最有前途的是HBase,但是Hadoop/HBase集群的维护常常需要很多专业人员并且需要构建一个比较大的集群才能最大化体现出威力,因此用户主要是Facebook, yahoo, 百度和阿里巴巴等大公司。
个人比较期待CouchBase。
转载仅供参考,版权属于原作者。祝你愉快,满意请~~哦