数据库作为业务的核心，在整个基础软件栈中是非常重要的一环。近几年社区也是新的方案和思想层出不穷，接下来我将总结一下近几年一些主流的开源数据库方案，其背后的设计思想以及适用场景。本人才疏学浅如有遗漏或者错误请见谅。本次分享聚焦于数据库既结构化数据存储 OLTP 及 NoSQL 领域，不会涉及 OLAP、对象存储、分布式文件系统。 1 开源RDBMS与互联网的崛起 很长时间以来，关系型数据库一直是大公司的专利，市场被 Oracle / DB2 等企业数据库牢牢把持。但是随着互联网的崛起、开源社区的发展，上世纪九十年代 MySQL 1.0 的发布，标志着关系型数据库的领域社区终于有可选择的方案。 MySQL 第一个介绍的单机RDBMS就是MySQL。相信大多数朋友都已经对 MySQL 非常熟悉，基本上 MySQL 的成长史就是互联网的成长史。我接触的第一个 MySQL 版本是 MySQL 4.0，到后来的 MySQL 5.5 更是经典——基本所有的互联网公司都在使用。 MySQL 也普及了「可插拔」引擎这一概念，针对不同的业务场景选用不同的存储引擎是 MySQL tuning 的一个重要的方 […]
六个藉藉无名但迅速崛起的Apache大数据项目
如今全球各地的无数企业组织在处理数据集，这些数据集是如此地庞大而复杂，以至于传统的数据处理应用软件再也无法支持经过优化的数据分析和洞察力获取。这是新一批大数据应用软件旨在解决的问题，而Apache软件基金会（ASF）最近将一批值得关注的开源大数据项目升级为Apache顶级项目。这意味着，这些项目将获得积极的开发和强有力的社区支持。 （图片来源：Creative Commons Zero） 大多数人已听说过Apache Spark，这种大数据处理框架拥有内置模块，可用于数据流、SQL、机器学习和图形处理。IBM及其他公司正在往Spark项目投入数十亿美元的开发资金，美国宇航局和SETI研究所在开展合作，利用Spark的机器学习能力，分析数TB的复杂的外太空无线信号，搜寻可能表明存在智能外星生命的模式。 然而，另外几个最近被提升为顶级项目的Apache大数据项目同样值得关注。实际上，其中一些打造的生态系统在活动和开发上可与Spark的生态系统相媲美。本文介绍了你应该知道的几个Apache大数据项目。 下面是六个迅速崛起的项目： Kylin Apache最近宣布，Kylin项目这个脱胎于eB […]
关于redis、memcached、mongoDB 的对比
从以下几个维度，对redis、memcached、mongoDB 做了对比，欢迎拍砖 1、性能 都比较高，性能对我们来说应该都不是瓶颈 总体来讲，TPS方面redis和memcached差不多，要大于mongodb 2、操作的便利性 memcached数据结构单一 redis丰富一些，数据操作方面，redis更好一些，较少的网络IO次数 mongodb支持丰富的数据表达，索引，最类似关系型数据库，支持的查询语言非常丰富 3、内存空间的大小和数据量的大小 redis在2.0版本后增加了自己的VM特性，突破物理内存的限制；可以对key value设置过期时间（类似memcache） memcached可以修改最大可用内存,采用LRU算法 mongoDB适合大数据量的存储，依赖操作系统VM做内存管理，吃内存也比较厉害，服务不要和别的服务在一起 4、可用性（单点问题） 对于单点问题， redis，依赖客户端来实现分布式读写；主从复制时，每次从节点重新连接主节点都要依赖整个快照,无增量复制， […]
通C#访问MongoDB数据
开始： 先下载个C#的驱动。MongoDB提供各种主流与非主流预言的开发驱动。 C# Driver 下载地址：猛击这里 CSharp Driver Tutorial：猛击这里 下载文件安装或者解压缩包 如果您是安装，请到安装位置寻找，如果是ZIP压缩包，解压缩包得到如下两个文件： MongoDB.Bson.dll ：序列化、Json相关 MongoDB.Driver.dll ：我们的驱动 没了，只有这两个文件是我们的最爱。 继续： 新建一个C#的项目，不管你是vs2008，还是vs2010，也许您手中有vs2012？也发给我一份吧。感谢共享：） 添加引用，将上面两个DLL引入到项目里面 您启动Mongod.exe了吗？启动服务。 代码里面添加命名空间： using MongoDB.Bson; using MongoDB.Driver; 跟着[CSharp Driver Tutorial：猛击这里]继续做。如果您没有打开[CSharp Driver Tutorial]就不要开了，看完全文再看，以免 […]
关于Mongodb启动服务时1067错误的解决方法
如图：按照官网Install MongoDB on Windows（参考文尾备注）章节介绍安装完服务之后，无论是命令行net start mongodb，还是在系统服务中启动MongoDB服务，都会提示1067的错误。 网上有些说删除Mongodb数据库目录下的mongod.lock文件之后可以正常重启服务，但是笔者试了之后还是不行，也觉得删除这类文件是治标不治本或者不安全的。 仔细看了下上面链接中的文档，因为我并未按照默认的C:\路径安装Mongodb，以及在C:\下面md data文件存放数据库，而是放在了D:\MongoDB（程序目录），以及D:\DB_MongoDB（数据库目录），初步觉得问题就出在这个问题之上。 如图，在mongod.cfg文件中指定了dbpath，再启动服务，就正常了。 （不止dbpath，其它必要的配置不正确或者不完全也可能导致1067服务启动失败的情况。） 备注： 官方安装Mongodb的Windows服务说明可能在更新，一般可按照以下方法直接安装Windows服务： ? 1 D:\Program Files\MongoDB 2.6 St […]
Mongodb 安装 以及 问题解决
一，下载 1.官网为：http://www.mongodb.org/ ；下载安装程序的地址为：http://www.mongodb.org/downloads ,选择选择的是Windows 32-bit 2.4.0版本。 2.下载MongoDB For .net 驱动开发包，官方的c#driver位于driver菜单下，地址为：https://github.com/mongodb/mongo-csharp-driver/downloads。这里还了解到有samus驱动下载地址：https://github.com/samus/mongodb-csharp 二，安装 1.将mongodb-win32-i386-2.4.0.zip解压到目录E:\mongodb-2.4.0，也就是把Bin目录放在该文件夹下。 2.在E:\mongodb-2.4.0创建Data文件夹，然后在该目录下分别创建db,log两个文件夹，至此E:\mongodb-2.4.0文件目录下有三个文件夹（bin,data,log）. 3.在log文件夹下创建一个日志文件log.log,即完全目录为：E:\mongodb-2. […]
MongoDB 管理
1.启动和停止MongoDB 执行mongod,启动MongoDB服务器。mongod有很多选项，在命令中执行 mongod --help 主要选项如下： --dbpath 指定数据目录，默认值是C:\data\db。每个mongod进程都需要独立的数据目录。如果要是有3个mongod 实例，那么必须有3个独立的数据目录。当mongod启动时，会在数据库目录中创建mongod.lock文件 这个文件用于防止其他的mongod纯净使用该数据目录。 --port 指定服务器监听的端口号，默认端口27017.要运行多个mongod进程，则要给每个指定不同的端口号。 --logpath 指定日志的输出路径。如果对文件夹有读写权限，系统会在文件不存在时创建它。它会将已有文件覆盖掉， 清除所有原来的日志记录。如果想要保留原来的日志，需使用--logappend选项。 --config 指定配置文件，加载命令行未指定的各种选项。 2.从配置文件启动 MongoDB支持从文件获取配置信息.当需 […]
NoSQL架构实践（三） 以NoSQL为缓存
在《NoSQL架构实践》系列的前面两篇文章中，介绍了《以NoSQL为主》和《以NoSQL为辅》的架构。由于NoSQL数据库天生具有高性能、易扩展的特点，所以我们常常结合关系数据库，存储一些高性能的、海量的数据。从另外一个角度看，根据NoSQL的高性能特点，它同样适合用于缓存数据。用NoSQL缓存数据可以分为内存模式和磁盘持久化模式。 内存模式 说起内存模式缓存，我们自然就会想起大名鼎鼎的Memcached。在互联网发展过程中，Memcached曾经解救了数据库的大部分压力，做出了巨大的贡献，直到今天，它依然是缓存服务器的首选。Memcached的常见使用方式类似下面的代码： Memcached提供了相当高的读写性能，一般情况下，都足够应付应用的性能要求。但是基于内存的Memcached缓存的总数据大小受限于内存的大小。 当前如日中天、讨论得异常火热的NoSQL数据库Redis又为我们提供了功能更加强大的内存存储功能。跟Memcached比，Redis的一个key的可以存储多种数据结构Strings、Hashes、Lists、Sets、Sorted sets。Redis不但功能强大，而且 […]
NoSQL架构实践（二）以NoSQL为主
前面一篇《NoSQL架构实践（一）以NoSQL为辅》主要介绍了以NoSQL为辅助的架构，这种架构实施起来比较简单，易于理解，由于其中也使用了传统的关系数据库，让开发者更容易控制NoSQL带来的风险。接下来我们继续深入下去，换另外一个角度，“以NoSQL为主”来架构系统。 （三）纯NoSQL架构 只使用NoSQL作为数据存储。 图 4-纯NoSQL架构 在一些数据结构、查询关系非常简单的系统中，我们可以只使用NoSQL即可以解决存储问题。这样不但可以提高性能，还非常易于扩展。手机凤凰网的前端展示系统就使用了这种方案。 在一些数据库结构经常变化，数据结构不定的系统中，就非常适合使用NoSQL来存储。比如监控系统中的监控信息的存储，可能每种类型的监控信息都不太一样。这样可以避免经常对MySQL进行表结构调整，增加字段带来的性能问题。 这种架构的缺点就是数据直接存储在NoSQL中，不能做关系数据库的复杂查询，如果由于需求变更，需要进行某些查询，可能无法满足，所以采用这种架构的时候需要确认未来是否会进行复杂关系查询以及如何应对。 非常幸运的是，有些NoSQL数据库已经具有部分关系数据库的关系查询 […]
NoSQL架构实践（一）以NoSQL为辅
经常有朋友遇到困惑，看到NoSQL的介绍，觉得很好，但是却不知道如何正式用到自己的项目中。很大的原因就是思维固定在MySQL中了，他们问得最多的问题就是用了NoSQL，我如何做关系查询。那么接下来，我们看下怎么样在我们的系统中使用NoSQL。 怎么样把NoSQL引入到我们的系统架构设计中，需要根据我们系统的业务场景来分析，什么样类型的数据适合存储在NoSQL数据库中，什么样类型的数据必须使用关系数据库存储。明确引入的NoSQL数据库带给系统的作用，它能解决什么问题，以及可能带来的新的问题。下面我们分析几种常见的NoSQL架构。 （一）NoSQL作为镜像 不改变原有的以MySQL作为存储的架构，使用NoSQL作为辅助镜像存储，用NoSQL的优势辅助提升性能。 图 1 -NoSQL为镜像（代码完成模式 ） //写入数据的示例伪代码 //data为我们要存储的数据对象 data.title=”title”; data.name=”name”; data.time=”2009-12-01 10:10:01”; data.from=”1”; id=DB.Insert(da […]
NoSQL
NoSQL，指的是非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。 NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。 计算机体系结构在数据存储方面要求具备庞大的水平扩展性①，而NoSQL致力于改变这一现状。Google的 BigTable 和Amazon 的Dynamo使用的就是NoSQL型数据库。 NoSQL项目的名字上看不出什么相同之处，但是，它们通常在某些方面相同：它们可以处理超大量的数据。 这场革命仍然需要等待。的确，NoSQL对大型企业来说还不是主流，但是，一两年之后很可能就会变个样子。在NoSQL运动的最新一次聚会中，来自世界各地的150人挤满了CB […]
MongoDB服务的启动和卸载及路径修改
安装：mongod --dbpath "C:\mongodb\db" --logpath "C:\mongodb\log.txt" --install --serviceName "MongoDB" 卸载：mongod.exe --remove --serviceName "MongoDB" 服务 错误 1053 您可以编辑在注册表中的可执行文件的路径，通过改变在以下关键的ImagePath HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\MongoDB\ImagePath 数值数据位 "D:\xampp\mongodb\bin\mongod.exe" --bind_ip 127.0.0.1 --logpath "d:\xampp\mongodb\dblog" […]