浅谈MySQL存储引擎选择 InnoDB还是MyISAM
MyISAM 是MySQL中默认的存储引擎，一般来说不是有太多人关心这个东西。决定使用什么样的存储引擎是一个很tricky的事情，但是还是值我们去研究一下，这里的文章只考虑 MyISAM 和InnoDB这两个，因为这两个是最常见的。 下面先让我们回答一些问题： ◆你的数据库有外键吗？ ◆你需要事务支持吗？ ◆你需要全文索引吗？ ◆你经常使用什么样的查询模式？ ◆你的数据有多大？ 思考上面这些问题可以让你找到合适的方向，但那并不是绝对的。如果你需要事务处理或是外键，那么InnoDB 可能是比较好的方式。如果你需要全文索引，那么通常来说 MyISAM是好的选择，因为这是系统内建的，然而，我们其实并不会经常地去测试两百万行记录。所以，就算是慢一点，我们可以通过使用Sphinx从InnoDB中获得全文索引。 数据的大小，是一个影响你选择什么样存储引擎的重要因素，大尺寸的数据集趋向于选择InnoDB方式，因为其支持事务处理和故障恢复。数据库的大小决定了故障恢复的时间长短，InnoDB可以利用事务日志进行数据恢复，这会比较快。而MyISAM可能会需要几个小时甚至几天来干这些事，InnoDB只需要几分钟。 您操作数据库表的习惯可能也会是一个对性能影响很大的因素。比如： COUNT() 在 MyISAM 表中会非常快，而在InnoDB 表下可能会很痛苦。而主键查询则在InnoDB下会相当相当的快，但需要小心的是如果我们的主键太长了也会导致性能问题。大批的inserts 语句在MyISAM下会快一些，但是updates 在InnoDB 下会更快一些——尤其在并发量大的时候。 所以，到底你检使用哪一个呢？根据经验来看，如果是一些小型的应用或项目，那么MyISAM 也许会更适合。当然，在大型的环境下使用MyISAM 也会有很大成功的时候，但却不总是这样的。如果你正在计划使用一个超大数据量的项目，而且需要事务处理或外键支持，那么你真的应该直接使用InnoDB方式。但需要记住InnoDB 的表需要更多的内存和存储，转换100GB 的MyISAM 表到InnoDB 表可能会让你有非常坏的体验。 from:http://database.51cto.com/art/200905/122382.htm
View Details通过分区（Partition）提升MySQL性能
什么是数据库分区？ 数据库分区是一种物理数据库设计技术，DBA和数据库建模人员对其相当熟悉。虽然分区技术可以实现很多效果，但其主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。 分区主要有两种形式：//这里一定要注意行和列的概念（row是行，column是列） 1. 水平分区（Horizontal Partitioning）这种形式分区是对表的行进行分区，通过这样的方式不同分组里面的物理列分割的数据集得以组合，从而进行个体分割（单分区）或集体分割（1个或多个分区）。所有在表中定义的列在每个数据集中都能找到，所以表的特性依然得以保持。 举个简单例子：一个包含十年发票记录的表可以被分区为十个不同的分区，每个分区包含的是其中一年的记录。（朋奕注：这里具体使用的分区方式我们后面再说，可以先说一点，一定要通过某个属性列来分割，譬如这里使用的列就是年份） 2. 垂直分区（Vertical Partitioning） 这种分区方式一般来说是通过对表的垂直划分来减少目标表的宽度，使某些特定的列 被划分到特定的分区，每个分区都包含了其中的列所对应的行。 举个简单例子：一个包含了大text和BLOB列的表，这些text和BLOB列又不经常被访问，这时候就要把这些不经常使用的text和BLOB了划分到另一个分区，在保证它们数据相关性的同时还能提高访问速度。 在数据库供应商开始在他们的数据库引擎中建立分区（主要是水平分区）时，DBA和建模者必须设计好表的物理分区结构，不要保存冗余的数据（不同表中同时都包含父表中的数据）或相互联结成一个逻辑父对象（通常是视图）。这种做法会使水平分区的大部分功能失效，有时候也会对垂直分区产生影响。 在MySQL 5.1中进行分区 MySQL5.1中最激动人心的新特性应该就是对水平分区的支持了。这对MySQL的使用者来说确实是个好消息，而且她已经支持分区大部分模式： Range（范围） – 这种模式允许DBA将数据划分不同范围。例如DBA可以将一个表通过年份划分成三个分区，80年代（1980’s）的数据，90年代（1990’s）的数据以及任何在2000年（包括2000年）后的数据。 Hash（哈希） – 这中模式允许DBA通过对表的一个或多个列的Hash Key进行计算，最后通过这个Hash码不同数值对应的数据区域进行分区，。例如DBA可以建立一个对表主键进行分区的表。 Key（键值） – 上面Hash模式的一种延伸，这里的Hash Key是MySQL系统产生的。 List（预定义列表） – 这种模式允许系统通过DBA定义的列表的值所对应的行数据进行分割。例如：DBA建立了一个横跨三个分区的表，分别根据2004年2005年和2006年值所对应的数据。 Composite（复合模式） – 很神秘吧，哈哈，其实是以上模式的组合使用而已，就不解释了。举例：在初始化已经进行了Range范围分区的表上，我们可以对其中一个分区再进行hash哈希分区。 分区带来的好处太多太多了，有多少？俺也不知道，自己猜去吧，要是觉得没有多少就别用，反正俺也不求你用。不过在这里俺强调两点好处： 性能的提升（Increased performance） – 在扫描操作中，如果MySQL的优化器知道哪个分区中才包含特定查询中需要的数据，它就能直接去扫描那些分区的数据，而不用浪费很多时间扫描不需要的地方了。需要举个例子？好啊，百万行的表划分为10个分区，每个分区就包含十万行数据，那么查询分区需要的时间仅仅是全表扫描的十分之一了，很明显的对比。同时对十万行的表建立索引的速度也会比百万行的快得多得多。如果你能把这些分区建立在不同的磁盘上，这时候的I/O读写速度就“不堪设想”（没用错词，真的太快了，理论上100倍的速度提升啊，这是多么快的响应速度啊，所以有点不堪设想了）了。 对数据管理的简化（Simplified data management） – 分区技术可以让DBA对数据的管理能力提升。通过优良的分区，DBA可以简化特定数据操作的执行方式。例如：DBA在对某些分区的内容进行删除的同时能保证余下的分区的数据完整性(这是跟对表的数据删除这种大动作做比较的)。 此外分区是由MySQL系统直接管理的，DBA不需要手工的去划分和维护。例如：这个例如没意思，不讲了，如果你是DBA，只要你划分了分区，以后你就不用管了就是了。 站在性能设计的观点上，俺们对以上的内容也是相当感兴趣滴。通过使用分区和对不同的SQL操作的匹配设计，数据库的性能一定能获得巨大提升。下面咱们一起用用这个MySQL 5.1的新功能看看。 下面所有的测试都在Dell Optiplex box with a Pentium 4 3.00GHz processor, 1GB of RAM机器上（炫耀啊……），Fedora Core 4和MySQL 5.1.6 alpha上运行通过。 如何进行实际分区 看看分区的实际效果吧。我们建立几个同样的MyISAM引擎的表，包含日期敏感的数据，但只对其中一个分区。分区的表（表名为part_tab）我们采用Range范围分区模式，通过年份进行分区： mysql> CREATE TABLE part_tab -> ( c1 int default NULL, -> c2 varchar(30) default NULL, -> c3 date default NULL -> -> ) […]
View DetailsMySQL分区(mysql partition)
一、概述 相信有很多人经常会问同样的一个问题：当 MySQL 的总记录数超过了100万后，会出现性能的大幅度下降吗？答案是肯定的，但是性能下降>的比率不一而同，要看系统的架构、应用程序、还有>包括索引、服务器硬件等多种因素而定。当有网友问我这个问题的时候，我最常见的回答>就是：分表，可以根据id区间或者时间先后顺序等多 种规则来分表。分表很容易，然而由此所带来的应用程序甚至是架构方面的改动工作却不>容小觑，还包括将来的扩展性等。 在以前，一种解决方案就是使用 MERGE 类型，这是一个非常方便的做饭。架构和程序基本上不用做改动，不过，它的缺点是显见的： 只能在相同结构的 MyISAM 表上使用 无法享受到 MyISAM 的全部功能，例如无法在 MERGE 类型上执行 FULLTEXT 搜索 它需要使用更多的文件描述符 读取索引更慢 这个时候，MySQL 5.1 中新增的分区(Partition)功能的优势也就很明显了： 与单个磁盘或文件系统分区相比，可以存储更多的数据 很容易就能删除不用或者过时的数据 一些查询可以得到极大的优化 涉及到 SUM()/COUNT() 等聚合函数时，可以并行进行 IO吞吐量更大 分区允许可以设置为任意大小的规则，跨文件系统分配单个表的多个部分。实际上，表的不同部分在不同的位置被存储为单独的表。 二、分区的类型 RANGE 分区：基于属于一个给定连续区间的列值，把多行分配给分区。参见18.2.1节，RANGE分区 LIST 分区：类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。参见18.2.2节，LIST分区 HASH分区：基于用户定义的表达式的返回值来进行选择的分区，该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包>含MySQL中有效的、产生非负整数值的任何表达式。参见18.2.3节，HASH分区 KEY 分区：类似于按HASH分区，区别在于KEY分区只支持计算一列或多列，且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含>整数值。 参见18.2.4节，KEY分区 三、分区例子： RANGE 类型 CREATE TABLE users ( uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, name VARCHAR(30) NOT NULL DEFAULT ", email VARCHAR(30) NOT NULL DEFAULT " ) PARTITION BY RANGE (uid) ( PARTITION p0 VALUES LESS THAN (3000000) DATA DIRECTORY = '/data0/data' […]
View Detailsmysql查看数据库表的数量命令
有时候导入SQL文件后，表很多。想看看表的个数时候和服务器上表的个数是否相同。 在mysql中可以用如下命令查看表的个数： SELECT count(TABLE_NAME) FROM information_schema.TABLES WHERE TABLE_SCHEMA=’dbname'; from:http://www.2cto.com/database/201403/287813.html
View DetailsMySQL单表可以多大
在老版本的MySQL 3.22中，MySQL的单表限大小为4GB，当时的MySQL的存储引擎还是ISAM存储引擎。但是，当出现MyISAM存储引擎之后，也就是从MySQL 3.23开始，MySQL单表最大限制就已经扩大到了64PB了（官方文档显示）。也就是说，从目前的技术环境来看，MySQL数据库的MyISAM存储 引擎单表大小限制已经不是有MySQL数据库本身来决定，而是由所在主机的OS上面的文件系统来决定了。 而MySQL另外一个最流行的存储引擎之一Innodb存储数据的策略是分为两种的，一种是共享表空间存储方式，还有一种是独享表空间存储方式。 当使用共享表空间存储方式的时候，Innodb的所有数据保存在一个单独的表空间里面，而这个表空间可以由很多个文件组成，一个表可以跨多个文件存在，所 以其大小限制不再是文件大小的限制，而是其自身的限制。从Innodb的官方文档中可以看到，其表空间的最大限制为64TB，也就是说，Innodb的单 表限制基本上也在64TB左右了，当然这个大小是包括这个表的所有索引等其他相关数据。 而当使用独享表空间来存放Innodb的表的时候，每个表的数据以一个单独的文件来存放，这个时候的单表限制，又变成文件系统的大小限制了。 以下是从收集到的一点信息，不一定全部准确： 操作系统 大小限制 win32 w/ FAT/FAT32 2GB/4GB win32 w/ NTFS 2TB（可能更大） Linux 2.2-Intel 32-bit 2GB (LFS: 4GB) Linux 2.4+ 4TB(ext3) Solaris 9/10 16TB NetWare w/NSS filesystem 8TB MacOS X w/ HFS+ 2TB 以下是MySQL文档中的内容： Windows用户请注意：FAT和VFAT (FAT32)不适合MySQL的生产使用。应使用NTFS。 在默认情况下，MySQL创建的MyISAM表允许的最大尺寸为4GB。你可以使用SHOW TABLE STATUS语句或myisamchk -dv tbl_name检查表的最大尺寸。请参见13.5.4节，“SHOW语法”。 如果需要使用大于4GB的MyISAM表（而且你的操作系统支持大文件），可使用允许AVG_ROW_LENGTH和MAX_ROWS选项的CREATE TABLE语句。创建了表后，也可以使用ALTER TABLE更改这些选项，以增加表的最大允许容量。 from:http://www.2cto.com/database/201111/111978.html
View Details
12 个最好的免费网站速度和性能测试工具
如果你是位个人站长，就能理解网站速度的重要性。自从 Google 算法开始使用网页加载时间作为搜索排序参数之后，网站速度对 SEO 的影响非常大。而且，很慢的加载速度会对网站访问者产生消极的影响。如果你的网站加载速度很慢，需要等待一段时间才能加载，那么用户很有可能不会再次访问 这个网站。 所以，为了解决以上说到的问题，我们收集整理了一个最好的免费网站速度测试和分析工具列表。接下来介绍的工具都是免费，而且会提供非常详细的数据报告给用户，帮助用户做些必要的补救措施。希望大家都能在下面的列表中找到对自己有帮助的，使自己的网站访问速度越来越快！ 1. Google PageSpeed Insights Google PageSpeed Insights 允许用户分析网站页面的内容，并且会提供加快网站访问速度的建议。 2. GT Matrix GTmetrix 可以帮助用户开发一个快速，高效，能全面改善用户体验的网站。它会为网站性能打分，然后提供可行性的建议来改善已发现的问题。 3. Neustar Free Load Testing & Performance Test neustar 这个工具是个简单快速生成网站性能分析数据的工具。它能忽略掉大小和地理位置来检测和负载测试网站，非常容易得出网站的性能分析，帮助用户加快网站加载速度。 4. Web Page Analyzer Web Page Analyzer 是个非常强大的速度测试工具，提供详细的网站分析数据并且会提供提高网站性能的建议。它提供大量的 web 页面速度报告，global report，外部文件计算，加载时间，网站分析数据和改善建议。 5. Pingdom Pingdom 是个非常杰出的工具，帮助用户生成大量网站的报告（页面大小，浏览器缓存，性能等级等），确定网站的加载时间，而且允许用户跟踪性能的历史记录，能在不同位置进行网站测试。 6. Load Impact Load Impact 允许用户做些 web 应用的负载和性能测试。它不断增加网站流量来测量网站性能。Load Impact 会选择一个全球负载区，测试模拟客户，带宽，接收数据和每秒请求等。越来越多客户变活跃，这个工具会用个漂亮的图表来展示测量的加载时间。 7. WebPage Test 用户可以使用 WebPage Test 来进行简单的测试，又或者是进行高级的测试，比如多步事物处理，视频采集，内容屏蔽等。测试结果会提供丰富的诊断信息，包括资源加载瀑布图表，页面速度优化检测和改善建议等。 8. Octa Gate Site Timer Octa Gate Site Timer 工具允许用户检测每个用户加载一个或多个页面的时间。当页面加载的时候，SiteTimer 存储每个项目加载的数据和用户接收的数据，这些数据会用一个网格来显示。 9. Which Loads Faster Which Loads Faster 是用来测试 web 性能问题的工具，可以在每个用户的浏览器测试。whichloadsfaster 是开源的，使用 HTML 和 JavaScript 编写的测试工具，完全在客户端运行。 10. Yslow YSlow 能分析 web 页面，基于一系列 web 页面高性能规则提供改进网页性能的建议。 11. Show Slow […]
View Details用Stopwatch显示执行时间
.net自带有性能分析功能，其中的代码段执行时间就是一个比较好用的方法，首先引入命名空间： using System.Diagnostics; //在代码开始计时 Stopwatch sw = new Stopwatch(); //实例化一个对象 sw.Start(); //开始计算 //要执行的代码 //如果有多段需要计时，也可以用sw.Reset(); 再次初始化时间戳 //sw.Start(); 重新开始计时 sw.Stop(); //计算结束 sw.ElapsedMilliseconds就是耗费的时间，单位是毫秒。
View Details
程序员的回归式进化
头一年 第二年 第三年 第五年 第十年 [英文原文：The Evolution of a Software Engineer ] from:http://www.oschina.net/news/50011/the-evolution-of-a-software-engineer
View DetailsPV
PV是英文“present value”的缩写，本意是“现值”。 资产按照预计从其持续使用和最终处置中所产生的未来净现金流入量折现的金额，负债按照预计期限内需要偿还的未来净现金流出量折现的金额。 现值是现在和将来（或过去）的一笔支付或支付流在今天的价值。 真是受教了，pv不光是page view的意思，还是现在价值的意思。 from:http://baike.baidu.com/subview/40888/5000821.htm#viewPageContent
View Details
2014 不能错过的 10+ 个 JavaScript 游戏引擎
在过去几年里，JavaScript 变得越来越流行，现在被认为是 Github 上面最受欢迎的编程语言。JavaScript 和 HTML5 这个流行的组合和 HTML5 的最新发展催生了各种 JavaScript 游戏引擎。这个组合允许开发者生成特别炫丽的游戏，比如动画，3D 图像等等。使用 HTML5 开发游戏的最重要的原因就是能适用于各种主流的设备。 在这片文章中，我们会谈论开发者们广泛使用的 10+ 个免费而又非常强大的 JavaScript 游戏引擎。这些游戏引擎都是经过精挑细选的，主要从近几年的维护，更新和持续改进等方面来进行选拔。以下就是我们挑选的结果： JsGameSoup JSGameSoup 是开源免费的游戏引擎，使用 JavaScript 和开发的 web 技术（HTML5，canvas等）来制作游戏。它几乎能在所有浏览器中运行，甚至包括了 iOS 浏览器。 Akihabara 是一系列的库和工具，可以预置创建 pixelated indie-style 8/16-bit era games ，使用 JavaScript ， HTML5 canvas 标签和一些标准 hooks 开发。 LimeJS LimeJS 是个 HTML5 游戏框架，使用它来制作能在桌面浏览器中快速运行的游戏，适用于所有主流的浏览器和触摸屏设备。LimeJS 包括各种函数和类，用来管理事件，时间线，形状和动画。 Enchant.js enchant.js 是个游戏引擎，同时也是个制作简单游戏和 HTML5 和 JavaScript 应用的框架。Enchant.js 发布于 2011 年，是个开源和免费的游戏引擎。 GMP GMP 是个 JavaScript 游戏引擎，用来创建基于 sqrite 的 2-D 游戏。它可以很容易就设计出最 retro 风格的街机游戏，同时也是很好的制作游戏的工具（比如 sudoku 和 gogopop）。GMP 拥有非常完整的文档，但是缺少良好的声音集成支持。 Gamequery GameQuery 是个开发 JavaScript 游戏的好工具，非常容易使用，只需要添加一些游戏相关的类。Gamequery 兼容各种浏览器： Firefox, Internet Explorer, Chrome, Safari, Webkit 移动版和 Opera。 […]
View Details