Monthly Archives: June 2013

NoSQL架构实践（二）以NoSQL为主

前面一篇《NoSQL架构实践（一）以NoSQL为辅》主要介绍了以NoSQL为辅助的架构，这种架构实施起来比较简单，易于理解，由于其中也使用了传统的关系数据库，让开发者更容易控制NoSQL带来的风险。接下来我们继续深入下去，换另外一个角度，“以NoSQL为主”来架构系统。 （三）纯NoSQL架构 只使用NoSQL作为数据存储。 图 4-纯NoSQL架构 在一些数据结构、查询关系非常简单的系统中，我们可以只使用NoSQL即可以解决存储问题。这样不但可以提高性能，还非常易于扩展。手机凤凰网的前端展示系统就使用了这种方案。 在一些数据库结构经常变化，数据结构不定的系统中，就非常适合使用NoSQL来存储。比如监控系统中的监控信息的存储，可能每种类型的监控信息都不太一样。这样可以避免经常对MySQL进行表结构调整，增加字段带来的性能问题。 这种架构的缺点就是数据直接存储在NoSQL中，不能做关系数据库的复杂查询，如果由于需求变更，需要进行某些查询，可能无法满足，所以采用这种架构的时候需要确认未来是否会进行复杂关系查询以及如何应对。 非常幸运的是，有些NoSQL数据库已经具有部分关系数据库的关系查询特性，他们的功能介于key-value和关系数据库之间，却具有key-value数据库的性能，基本能满足绝大部分web 2.0网站的查询需求。比如： MongoDB就带有关系查询的功能，能解决常用的关系查询，所以也是一种非常不错的选择。下面是一些MongoDB的资料： ◆《视觉中国的NoSQL之路：从MySQL到MongoDB》◆《Choosing a non-relational database; why we migrated from MySQL to MongoDB》◆最近的一次Mongo Beijing 开发者聚会也有一部分资料。 虽然Foursquare使用MongoDB的宕机事件的出现使人对MongoDB的自动Shard提出了质疑，但是毫无疑问，MongoDB在NoSQL中，是一个优秀的数据库，其单机性能和功能确实是非常吸引人的。由于上面的例子有详细的介绍，本文就不做MongoDB的使用介绍。 Tokyo Tyrant数据库带有一个名为table的存储类型，可以对存储的数据进行关系查询和检索。一个table库类似于MySQL中的一个表。下面我们看一个小演示： 我们要存储一批用户信息，用户信息包含用户名(name),年龄(age)，email，最后访问时间(lastvisit)，地区(area)。下面为写入的演示代码：     $tt = new TokyoTyrantTable ( "127.0.0.1", 1978 );     $tt->vanish ();//清空     $id = $tt->genUid ();//获取一个自增id     //put方法提供数据写入。 put ( string $key , array $columns )；     $tt->put ( $id, array ("id" => $id, "name" => "zhangsan", "age" => 27, "email" => "zhangsan@gmail.com", "lastvisit" =>strtotime ( "2011-3-5 12:30:00" ), "area" => "北京" ) ); […]

NoSQL架构实践（一）以NoSQL为辅

经常有朋友遇到困惑，看到NoSQL的介绍，觉得很好，但是却不知道如何正式用到自己的项目中。很大的原因就是思维固定在MySQL中了，他们问得最多的问题就是用了NoSQL，我如何做关系查询。那么接下来，我们看下怎么样在我们的系统中使用NoSQL。 怎么样把NoSQL引入到我们的系统架构设计中，需要根据我们系统的业务场景来分析，什么样类型的数据适合存储在NoSQL数据库中，什么样类型的数据必须使用关系数据库存储。明确引入的NoSQL数据库带给系统的作用，它能解决什么问题，以及可能带来的新的问题。下面我们分析几种常见的NoSQL架构。 （一）NoSQL作为镜像 不改变原有的以MySQL作为存储的架构，使用NoSQL作为辅助镜像存储，用NoSQL的优势辅助提升性能。 图 1 -NoSQL为镜像（代码完成模式 ） //写入数据的示例伪代码   //data为我们要存储的数据对象   data.title=”title”;   data.name=”name”;   data.time=”2009-12-01 10:10:01”;   data.from=”1”;   id=DB.Insert(data);   //写入MySQL数据库   NoSQL.Add(id,data);   //以写入MySQL产生的自增id为主键写入NoSQL数据库 如果有数据一致性要求，可以像如下的方式使用 //写入数据的示例伪代码   //data为我们要存储的数据对象   bool status=false; DB.startTransaction();   //开始事务   id=DB.Insert(data);   //写入MySQL数据库   if(id>0){       status=NoSQL.Add(id,data);   //以写入MySQL产生的自增id为主键写入NoSQL数据库   }   if(id>0 && status==true){       DB.commit();   //提交事务   }else{       DB.rollback();   //不成功，进行回滚   } 上面的代码看起来可能觉得有点麻烦，但是只需要在DB类或者ORM层做一个统一的封装，就能实现重用了，其他代码都不用做任何的修改。 这种架构在原有基于MySQL数据库的架构上增加了一层辅助的NoSQL存储，代码量不大，技术难度小，却在可扩展性和性能上起到了非常大的作用。只需要程序在写入MySQL数据库后，同时写入到NoSQL数据库，让MySQL和NoSQL拥有相同的镜像数据，在某些可以根据主键查询的地方，使用高效的NoSQL数据库查询，这样就节省了MySQL的查询，用NoSQL的高性能来抵挡这些查询。 图 2 -NoSQL为镜像（同步模式） 这种不通过程序代码，而是通过MySQL把数据同步到NoSQL中，这种模式是上面一种的变体，是一种对写入透明但是具有更高技术难度一种模式。这种模式适用于现有的比较复杂的老系统，通过修改代码不易实现，可能引起新的问题。同时也适用于需要把数据同步到多种类型的存储中。 MySQL到NoSQL同步的实现可以使用MySQL UDF函数，MySQL binlog的解析来实现。可以利用现有的开源项目来实现，比如： ◆MySQL memcached UDFs：从通过UDF操作Memcached协议。◆国内张宴开源的mysql-udf-http：通过UDF操作http协议。 有了这两个MySQL UDF函数库，我们就能通过MySQL透明的处理Memcached或者Http协议，这样只要有兼容Memcached或者Http协议的NoSQL数据库，那么我们就能通过MySQL去操作以进行同步数据。再结合lib_mysqludf_json，通过UDF和MySQL触发器功能的结合，就可以实现数据的自动同步。 （二）MySQL和NoSQL组合 MySQL中只存储需要查询的小字段，NoSQL存储所有数据。 […]

“大数据”与“海量数据”有哪些区别？

很多年前，业界就在讨论一个话题：如何应对海量数据？特别是一些需要存储大量用户数据的行业，金融、电信、保险等热门行业。用户几乎在一天的每个小时，都有可能产生大量数据，这些行业的存储设备，必须要将期间产生的数据一丝不苟地记录下来。随着数据量的迅速增加，很多行业用户开始想办法变“数”为宝，从海量数据中挖掘有价值的信息。 如果仅仅是海量的结构性数据，那么解决的办法就比较的单一，用户通过购买更多的存储设备，提高存储设备的效率等解决此类问题。然而，当人们发现数据库中的数据可以分为三种类型：结构性数据、非结构性数据以及半结构性数据等复杂情况时，问题似乎就没有那么简单了。 大数据汹涌来袭 当类型复杂的数据汹涌袭来，那么对于用户IT系统的冲击又会是另外一种处理方式。很多业内专家和第三方调查机构通过一些市场调查数据发现，大数据时代即将到来。有调查发现，这些复杂数据中有85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。 如今大数据的概念也存在着很多的炒作和大量的不确定性。为此，编者详细向一些业内专家详细了解有关方面的问题，请他们谈一谈，大数据是什么和不是什么，以及如何应对大数据等问题，将系列文章的形式与网友见面。 有人将多TB数据集也称作"大数据"。据市场研究公司IDC统计，数据使用预计将增长44倍，全球数据使用量将达到大约35.2ZB（1ZB = 10亿TB）。然而，单个数据集的文件尺寸也将增加，导致对更大处理能力的需求以便分析和理解这些数据集。 EMC曾经表示，它的1000多个客户在其阵列中使用1PB（千兆兆）以上的数据数据，这个数字到2020年将增长到10万。一些客户在一两年内还将开始使用数千倍多的数据，1EB（1艾字节 = 10亿GB）或者更多的数据。 对大企业而言，大数据的兴起部分是因为计算能力可用更低的成本获得，且各类系统如今已能够执行多任务处理。其次，内存的成本也在直线下降，企业可以在内存中处理比以往更多的数据，另外是把计算机聚合成服务器集群越来越简单。IDC认为，这三大因素的结合便催生了大数据。同时，IDC还表示，某项技术要想成为大数据技术，首先必须是成本可承受的，其次是必须满足IBM所描述的三个"V"判据中的两个：多样性(variety)、体量(volume)和速度(velocity)。 多样性是指，数据应包含结构化的和非结构化的数据。 体量是指聚合在一起供分析的数据量必须是非常庞大的。 而速度则是指数据处理的速度必须很快。 大数据"并非总是说有数百个TB才算得上。根据实际使用情况，有时候数百个GB的数据也可称为大数据，这主要要看它的第三个维度，也就是速度或者时间维度。 Garter表示，全球信息量正在以59%以上的年增长率增长，而量是在管理数据、业务方面的显著挑战，IT领袖必须侧重在信息量、种类和速度上。 量：企业系统内部的数据量的增加是由交易量、其它传统数据类型和新的数据类型引发的。过多的量是一个存储的问题，但过多的数据也是一个大量分析的问题。 种类：IT领袖在将大量的交易信息转化为决策上一直存在困扰 – 现在有更多类型的信息需要分析 – 主要来自社交媒体和移动（情景感知）。种类包括表格数据（数据库）、分层数据、文件、电子邮件、计量数据、视频、静态图像、音频、股票行情数据、金融交易和其它更多种类。 速度：这涉及到数据流、结构化记录的创建，以及访问和交付的可用性。速度意味着正在被生成的数据有多快和数据必须被多快地处理以满足需求。 虽然大数据是一个重大问题，Gartner分析师表示，真正的问题是让大数据更有意义，在大数据里面寻找模式帮助组织机构做出更好的商业决策。 诸子百家谈如何定义"大数据" 尽管"Big Data"可以翻译成大数据或者海量数据，但大数据和海量数据是有区别的。 定义一：大数据 = 海量数据 + 复杂类型的数据 Informatica中国区首席产品顾问但彬认为："大数据"包含了"海量数据"的含义，而且在内容上超越了海量数据，简而言之，"大数据"是"海量数据"+复杂类型的数据。 但彬进一步指出：大数据包括交易和交互数据集在内的所有数据集，其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。 大数据是由三项主要技术趋势汇聚组成： 海量交易数据：在从 ERP应用程序到数据仓库应用程序的在线交易处理（OLTP）与分析系统中，传统的关系数据以及非结构化和半结构化信息仍在继续增长。随着企业将更多的数据和业务流程移向公共和私有云，这一局面变得更加复杂。 海量交互数据：这一新生力量由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成。它包括了呼叫详细记录（CDR）、设备和传感器信息、GPS 和地理定位映射数据、通过管理文件传输（Manage File Transfer）协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。 海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构，例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说，难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。 定义二：大数据包括A、B、C三个要素 如何理解大数据？NetApp 大中华区总经理陈文认为，大数据意味着通过更快获取信息来使做事情的方式变得与众不同，并因此实现突破。大数据被定义为大量数据（通常是非结构化的），它要求我们重新思考如何存储、管理和恢复数据。那么，多大才算大呢？考虑这个问题的一种方式就是，它是如此之大，以至于我们今天所使用的任何工具都无法处理它，因此，如何消化数据并把它转化成有价值的洞见和信息，这其中的关键就是转变。 基于从客户那里了解的工作负载要求， NetApp所理解的大数据包括A、B、C三个要素：分析（Analytic），带宽（Bandwidth）和内容（Content）。 1. 大分析（Big Analytics），帮助获得洞见 – 指的是对巨大数据集进行实时分析的要求，它能带来新的业务模式，更好的客户服务，并实现更好的结果。 2. 高带宽（Big Bandwidth），帮助走得更快 – 指的是处理极端高速的关键数据的要求。它支持快速有效地消化和处理大型数据集。 3. 大内容（Big Content），不丢失任何信息- 指的是对于安全性要求极高的高可扩展的数据存储，并能够轻松实现恢复。它支持可管理的信息内容存储库、而不只是存放过久的数据，并且能够跨越不同的大陆板块。 大数据是一股突破性的经济和技术力量，它为 IT 支持引入了新的基础架构。大数据解决方案消除了传统的计算和存储的局限。借助于不断增长的私密和公开数据，一种划时代的新商业模式正在兴起，它有望为大数据客户带来新的实质性的收入增长点以及富于竞争力的优势。 转自：http://server.51cto.com/sCollege-300607_1.htm

关系型数据库

关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。关系模型是由埃德加·科德于1970年首先提出的，并配合“科德十二定律”。现如今虽然对此模型有一些批评意见，但它还是数据存储的传统标准。标准数据查询语言SQL就是一种基于关系数据库的语言，这种语言执行对关系数据库中数据的检索和操作。 关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。 实体关系模型（Entity-Relationship Model)，简称E-R Model是陈品山（Peter P.S Chen)博士于1976年提出的一套数据库的设计工具，他运用真实世界中事物与关系的观念，来解释数据库中的抽象的数据架构。实体关系模型利用图形的方式（实体-关系图（Entity-Relationship Diagram））来表示数据库的概念设计，有助于设计过程中的构思及沟通讨论。 关系模型就是指二维表格模型,因而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。当前主流的关系型数据库有Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL等。

NoSQL

NoSQL，指的是非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。 NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。 计算机体系结构在数据存储方面要求具备庞大的水平扩展性①，而NoSQL致力于改变这一现状。Google的 BigTable 和Amazon 的Dynamo使用的就是NoSQL型数据库。 NoSQL项目的名字上看不出什么相同之处，但是，它们通常在某些方面相同：它们可以处理超大量的数据。 这场革命仍然需要等待。的确，NoSQL对大型企业来说还不是主流，但是，一两年之后很可能就会变个样子。在NoSQL运动的最新一次聚会中，来自世界各地的150人挤满了CBS Interactive的一间会议室。分享他们如何推翻缓慢而昂贵的关系数据库的暴政的经验，怎样使用更有效和更便宜的方法来管理数据。 “关系型数据库给你强加了太多东西。它们要你强行修改对象数据，以满足RDBMS （relational database management system，关系型数据库管理系统）的需要，”在NoSQL拥护者们看来，基于NoSQL的替代方案“只是给你所需要的”。 水平扩展性(horizontal scalability)指能够连接多个软硬件的特性,这样可以将多个服务器从逻辑上看成一个实体。

Web 开发人员需知的 Web 缓存知识

最近的译文距今已有4年之久，原文有一定的更新。今天踩着前辈们的肩膀，再次把这篇文章翻译整理下。一来让自己对web缓存的理解更深刻些，二来让大家注意力稍稍转移下，不要整天HTML5, 面试题啊叨啊叨的~~ 什么是Web缓存，为什么要使用它？ Web缓存游走于服务器和客户端之间。这个服务器可能是源服务器（资源所驻留的服务器Add），数量可能是1个或多个；这个客户端也可能是1个或多个。Web缓存就在服务器-客户端之间搞监控，监控请求，并且把请求输出的内容（例如html页面、 图片和文件）（统称为副本）另存一份；然后，如果下一个请求是相同的URL，则直接请求保存的副本，而不是再次麻烦源服务器。 使用缓存的2个主要原因： 降低延迟：缓存离客户端更近，因此，从缓存请求内容比从源服务器所用时间更少，呈现速度更快，网站就显得更灵敏。 降低网络传输：副本被重复使用，大大降低了用户的带宽使用，其实也是一种变相的省钱（如果流量要付费的话），同时保证了带宽请求在一个低水平上，更容易维护了。 Web缓存的类型 1. 浏览器缓存在任何现代浏览器上(如IE, FireFox, Chrome)折腾清除隐私数据（//zxx: 原文说的是首选项，显然out了，这里有改动）的对话框，你很可能会注意到“缓存”这个设置项。 浏览器会在你的硬盘上专门开辟一个空间专门为你存储资源副本。浏览器缓存的工作规则很简单：检查以确保副本是最新的，通常只要一次会话（就是当前浏览器调用的这次N）。 浏览器缓存在用户触发“后退”操作或点击一个之前看过的链接的时候很管用。同样，如果你在网站上访问同一张图片，该图片可以从浏览器缓存中调出并几乎立即显现出来。 2. 代理服务器缓存Web代理服务器使用同样的缓存原理，只是规模更大。代理以同样的方式服务千万用户，大公司和ISP(Internet Server Provider, Internet服务提供商Add)经常在他们的防火墙或者单独的设备（也被称为中介(intermediaries)）上架设代理缓存。 由于代理服务器缓存并非客户端或者源服务器的一部分，而是处于网络中，请求需要以某种方式路由到它们。一种方法是手动设置，告诉浏览器的你常用的代理服务器(//zxx: 翻墙的时候常用的)，另外就是使用拦截。拦截代理(Interception proxies)把Web请求根据自己的底层网络重定向，因此，客户端无需配置，甚至都不需要知道它们。//zxx: 维基百科上提供的几种检测拦截代理服务器存在的方法add，您若有兴趣，可以点击这里查看。 代理缓存属于一种共享缓存；往往有大量的用户使用，因此，其在降低延时和网络流量上很有用，毕竟每个副本都被大量重用。//zxx: 这里我有疑问：就算是放在代理服务器上，每次获取还是要通过网络的啊，如何降低了网络流量呢？希望谁可以帮忙解惑下。 3. 网关缓存也被称为“反向代理缓存”或“替代缓存”。网关缓存同样是起中介作用的，不过不是（素不相识、不曾谋面的Add）网络管理员部署的，而多半是网站管理员（公司专门的运维工程师、或UED或程序组某人Add）他们自己部署，这样更容易扩展与维护。 可以有多种方法把请求路由到网关缓存，但通常使用某种形式的负载均衡器①，使它们中的一个或多个看起来像是源服务器。内容分发网络②(CDNs)为整个网络（或部分）分配网关缓存，然后把这些缓存卖给需要的网站。Speedera③和Akamai④就是代表性的网络内容发布商。 ①负载均衡器：是一种采用各种分配算法把网络请求分散到一个服务器集群中的可用服务器上去，通过管理进入的Web数据流量和增加有效的网络带宽，从而使网络访问者获得尽可能最佳的联网体验的硬件设备。 ②内容分发网络：即CDN, 基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互 联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向 离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。 ③Speedera：是一家全球性的内容服务提供商，它与北美、欧洲以及亚太地区的1000多家大型运营商都有联系，并为那些不想在自己服务器上寄存内容的公司提供软件下载、媒体及其它服务管理等业务。05年的时候被下面要介绍的Akamai以$130m的价格给收购了。 ④Akamai：美国Akamai是国际上最大的CDN服务商，它巨大的网络分发能力在峰值时可达到15Tbps。 Akamai公司是为数不多的旨在消除Internet瓶颈和提高下载速度的几家新公司之一，是一个致力于网络交通提速的”内容发布”公司，是波士顿高技 术区最卓越的新兴企业之一。Akamai公司向全球企业提供发送互联网内容，汇流媒体和应用程序的服务（目前，该公司为15个国家的企业管理着8000多 台服务器）。1998年，丹尼尔。L和麻省理工学院的一些研究人员一起创立了这家公司，他在麻省理工学院的硕士论文构成了Akamai公司最初的”自由 流”（Freeflow）技术的核心。 本教程重点在浏览器和代理缓存，尽管有些信息对网关缓存感兴趣的人也适用。 Web缓存无害吗？为什么要鼓励缓存？ Web缓存是互联网中最容易被误解的技术之一。网站管理员特别希望知道网站的一举一动，比方说多少人访问啦，访问时间啊什么的，而缓存会“隐藏”他们的用户，他们就无从得知到底谁访问了这个站点。 捡了芝麻丢西瓜，自认为放弃缓存可以精确跟踪用户，实际上，互联网中有太多的变数，想精确得到一张用户查看网站的图片？没那么简单的，亲！如果你很重视这个问题，恭喜你，本文正好提供了解决之道，即保证缓存友好，同时又能获得统计。 另外需要注意的是，缓存的内容都是旧的过时的。因此，如何准确更新就成了一个问题。不过不要担心，本文会向你展示如何配置服务器，让缓存就像你的女仆——随便调教。 CDN算是个挺有意思的技术，不同于代理缓存，CDN的网关缓存和被缓存的Web站点的利益是一致的，因此，上面提到的问题对于CDN而言是没有的。不过，即使你使用了CDN，你仍要顾虑下游的代理和浏览器缓存。 以上为缓存可能的“糟粕”，那他好的地方呢？缓存可以让你的Web站点加载更快，让你的服务器和互联网链接间负担更小。这种差异会导致一些类似质的 变化，一个网站要几秒钟才能加载出来，而另外一个充分发挥缓存的优势，几乎瞬间显示。用户自然更喜欢那个加载迅速的站点，访问也更多。 再说个现实示例，许多大型互联网公司花费了数百万美元，在世界各地设立服务器集群来复制他们的内容，以使其尽可能快被他们的用户访问。缓存为你做同样的事情，而且他们更接近最终用户。最重要的是，你不要花银子。 实际上呢，无论你喜欢与否，代理和浏览器缓存都会被使用。如果你站点的缓存配置不正确，你只能听天由命了。 Web缓存如何工作 所以的缓存都有一套自己的规则，可以用来决定何时跟缓存暧昧往来。其中部分规则设定在协议中(HTTP 1.0 以及 1.1)，部分由缓存管理员⑤设置。 ⑤缓存管理员：如果指的是浏览器缓存，则有可能就是我们服务器专家同事，在服务器上配置一些缓存规则；如果是代理缓存，则指的就是处理代理服务器这块的管理人员。 一般而言有如下常用规则N： 响应头明确说明，偶不想被缓存，则不会被缓存； 如果请求信息是需要认证或者安全加密的(如, HTTPS)，相应内容也不会被缓存； 缓存如果有以下表现，则认为是fresh新鲜的（无需检查源服务器，直接发送给客户端）： 含有完整的过期时间和寿命控制头信息，并且内容仍在保鲜期内，或者 缓存最近已展现，并且在不久前修改。 则内容缓存直取，绕过源服务器。 若内容陈旧，则会要求源服务器做验证 validate ，或者告诉缓存其拷贝副本是否是OK的。 特定情况下——例如，断网了，之前有过的响应缓存直取而不检查源服务器。 响应如果没有类似ETag或Last-Modified头这样的校验器，也没有明确的更新信息，通常（并不绝对）认为是不可缓存的。 总而言之，新鲜度freshness和校验validation是确定缓存内容是否可用的最重要途径。如果要展示的足够新，直接缓存取；如果检测发现展示内容并未变化，则不会再来一次完整的传输。 如何控制缓存和不缓存 有很多工具可以帮助设计师和网站管理员调整服务器缓存网站的方式，这也许需要你亲自动手对服务器的配置进行一些调整，但绝对值得。了解如何使用这些工具请参考本文后面的章节。 HTML Meta标签 vs. HTTP头信息HTML重构人员可以在文档的<head>中添加标签进行描述。这些meta标签通常用来标记不可缓存或过期时间。 Meta标签使用简单，但效果一般。因为只被少数几个浏览器宠幸，而代理缓存基本上就不访问HTML文档。尽管我们可以在页面上试图添加no-cache meta标签让页面一直是最新的，但其实没必要。 如果你的网站托管在ISP或者主机托管商那里，并且他们没有赋予您任意设置HTTP头信息的能力(比如Expires和Cache-Control)，你要投诉争取，因为在你的工作中这些是必须的。 另外一方面： HTTP头信息可以让你对浏览器和代理服务器如何处理你的副本进行更多的控制。他们在HTML代码中是看不见的， 一般由Web服务器自动生成。但是，根据你使用的服务器，你可以在某种程度上进行控制。在下文中：你将看到一些有趣的HTTP头信息，以及如何在你的站点 上应用部署这些特性。 HTTP头信息发送在HTML代码之前，只能被浏览器和一些中间缓存能看到，一个典型的HTTP 1.1协议返回的头信息看上去像这样：

[…]

每个软件工程师都应该尝试的5件事情

回顾我的职业生涯(不，我还没那么老，不过入行确实不少年了)，确实有几次人生拐点帮我更具职场智慧，并鞭策我，使我总体来说适合成为软件工程师或程序员，成为那种要么热衷于提高自己的技艺，要么对混入管理层有兴趣，要么只是简单的期望扩大自己的知识面的人。我意识到，鉴于每个人目前的工作情况，有些建议可能并不适合于每一个人，尤其是假如你工作在一家对“谁可以和客户谈话”这种事都作出严格定义的公司的话。所以如果你现在做不到全部这些，也不必烦恼。也要注意，有时，你需要的只是开口去问！ 贡献到一个可行的开源项目 除非你与世隔绝，否则一定听过开源项目，也许你已经在Github或SourceForge上有一些小型的开源项目了。所有这些都是好的，但是我所说的“viable open source” 是指应当尝试在一个项目中做出重大意义的贡献，你的代码必须是通过审批的流程，如果被接受，将会在很多系统的系统中被应用到。你能从共享开源项目中学到的东西非常多。就我个人而言，它意味着：写更好的代码，更高效的沟通，有利的条件获得更多的工作机会，更高的报酬，更多的赞誉，更多了解其他观点和让自己有更厚的脸皮。最后一点，是说，你的代码在某些情况下会受到详细检查和批评。开源项目只是一个软件，并不是你一个人的(假设你即使遇到了一个很好的项目，请尽力将自己和项目区分开)。所以把接受批评当作是一个学习的机会，并将事情做得更好而不是令自己生气。不过这不容易做到，我自己有时也会与这种事情斗争，但是我知道如果不去想这些代码去谁写的，这些代码(和我)都能越来越好，而这才是最重要的。 参与开源项目者还有一个额外的优势，从雇主的角度看，我会更容易雇佣一些在能在生产环境上找到他们提交代码记录的人。对于技能差不多的候选人，任何时候，我都会他们当中选择开源项目贡献者。 销售你的软件 是的，我从字面上的意思是你应该去做电话销售，如果可能的话。换句话说,我认为你应该将自己放到极客的位置，时时的为他人用英语解释明白你在做什么，而不仅仅是你的同伴。如果你都不能解释清楚你做的是什么，其他人怎么能去购买它呐？ 做前期销售对我来说是一个非常宝贵的事，因为需要一个真实的、存在的、活生生的客户站在面前，可以为他们解释为什么他们应该购买我的软件。在开始的几次，我做到了，我非常紧张（毫无疑问的事实就是我的工作起步阶段，我们也在尝试做得更好），但是我通过了, 得到了一些锻炼，得到了一些提升。 卖你写的软件会给你真正的观点你正在构建什么和为什么构建, 它还能让你接触到大量的使用案例和真实反馈，什么是好，什么是坏。它也将磨练你，同事也会带给你信心。你还可以得到更多的使用你写的软件而改善他们生活的人的尊重，另外，当代码不正确时你也会是第一个感受痛苦的人，这也会使你希望自己写出更好的测试代码。最后，从长远来说，它帮你看得更远。 支持你的软件 销售你的软件之后的另一件事就是支持它。找到一种你能工作在第一线的支持方式，或者至少参与到支持工作中，来使自己能够真切的体验到人们使用你的软件的各种方式：好的、不好的、甚至丑陋的方式。错误报告和升级是一方面，直接从客户听取意见则是另一回事。除了需要社交技巧，你也需要能够迅速的进入用户的使用场景，了解他们看待你的代码的方式，这将进一步告诉你哪些你做的很好，哪些你还需要改进。这也意味着要知道哪些该说哪些不该说，因为这是你和付费客户打交道时要把握的分寸。伴随着销售，也会带给你一个新的欣喜，即之前开发阶段的辛勤工作没有白费，它很好的支撑着软件支持阶段的工作。 写/培训与你软件相关的内容 如果你还没有弄明白我的意思，我将会解释清楚一点：我十分重视那些不单单能写代码并且在公司内部和向公司外部人员解释那些代码是什么和为什么这样写的工程师。通过撰写和培训软件相关的内容，你必须简明、清晰地解释复杂的技术细节。也需要经常强调那些从用户的角度看是不对的地方。我说不出多少次在写文章和培训的过程中发现功能或特性不是十分正确，从而回去修改代码。这种情况在API设计的过程中更加经常发生。 写作也可以增加你的曝光并带给你更广的观众群体，从而得到反馈并令你的作品更上一层楼。有很多，很多的机会可以去为网站或出版社撰写技术的文章。学着去推销你的想法(看，你又在销售了！)并坚持下去，下一步你就会发现你将会成为一名合格的作者并有可能从中获得回报。 结交一些新朋友 也许对我来说，在学习和机遇两个方面最大的一种变革力量，就是我对扩展自己人际网络的明确努力 。当然这并不容易，而且这肯定涉及要“使你自己身心投入其中”，但回报经常是极为显著的，而且以事后所见，其中的风险非常小。 如果在你直接接触范围之外没有太多的人际网络，我给你一些建议。首先最重要的，人际网络的关键是你必须真诚的与新朋友会面，而且你必须除了这个新的关系之外别无所求。其次，许下承诺去维持这样的努力数月乃至更久。当你获得更多的自信并从任何失误中获得经验之后，这将变得越来越容易。第三，做你自己，但要注重倾听他人。第四，这也是我最弱的方面，获知并记忆名字。我很少忘记一张脸，但如果我不努力去学习别人的名字，这些名字就会在我脑中溜走，所以记住别人的名字，让别人知道你看重他们。 除了这些技巧，还有许多关于这个主题的好书。我最喜欢的有一本“爱是杀手锏”。就我看来，这是一个做作的标题，但书中的建议都是干货，而且作者很好的将它呈现了出来。在每天结束时，让你自己沉浸其中，从你获得的实际反馈中学习。如果你发现自己被太多次拒绝，问问一位信任的朋友，让他给你在何处改进的真实意见。如果有困惑，找别的朋友讨论。 红利: 找到导师 有可能你已经知道一些令你尊敬的人物，他们拥有解决复杂问题和高效沟通的能力。如果他们愿意与你分享他们的经验，并给你改进方法的反馈，那么自然有了胜算。从他们的经验和教训中学习，对他们的建议保持开放的态度。虽然它不会总是正确，但你至少应该考虑一下他们说的是什么，之后再做出决定。就我个人来说，我很幸运拥有一个朋友，他也是一个高管教练（我们意外的相遇，证明了使自己投入某事的价值）和一间企业所有者。在好多年里，我也遇到许多好老板和好同事，他们充当了我的人生导师，我对他们感激不尽。在开始以前，问问自己最敬佩谁，然后去和他们讨论你的想法。如果你找不到可以胜任此角色的朋友，甚至可以考虑雇佣一位教练。 完结 请记住，所有这些事情是你可以在这里和那里周期性的做。 他们通常并不需要很大的时间或货币的承诺，但他们确实需要你走出你的安乐窝。 最后，我很高兴听到一些程序员/工程师做这些事之后，确实改善了他们的职业/生活。你工作是什么？哪些工作没有起到作用？ 转自：http://www.oschina.net/translate/5-things-every-software-engineer-should-try

创业失败的七大缘由：太以创意为中心居首

腾讯科技讯（冰尘） 北京时间6月23日消息，据国外媒体报道，Ciplex创始人伊利亚·波辛(Ilya Pozin)近日刊文指出，七大失误导致创业失败。以下是文章全文： 有了伟大的创意就能确保创业成功吗？显然不对。 虽然下面的数据有点讨厌，但3/4的创业公司还没接触市场就惨遭淘汰。是的，即便那些再伟大的创意也会被丢进垃圾桶里。作为一家创业公司的创始人、导师以及青年企业家委员会的成员，我见证过太多的创业公司过早夭折。 即便听起来很让人气馁，但比较现实的期望是创业公司成功的关键。通过多年来参与创业公司圈，我总结出很多创业的失误和失策，包括负面的合作关系、过度开发的产品以及糟糕的市场营销策略。当然，如果企业家能够避免下面几个错误，那么等待他们的将是成功。 1、太以创意为中心。这点很难理解，但创业成功靠的不仅仅是一个好点子。当今社会，创意一抓一大把。你肯定也不是第一个想到的人。真正关键的是做事的人。不要将自己和某种创意牢牢绑定，以更开阔的视野做事。 2、太快放弃。关于创业成功这件事，放弃肯定不是一个要素。创立一项事业需要强大的责任心和毅力去跨越一个个障碍。遇到困难要具备弹性，持续地克服负面情绪才能让你在正确的道路加速前进。 3、忽略简洁性的魔力。创业公司经常会失去关注点，过度开发他们的产品。不管你信不信，多加几个功能并不会把你和竞争对手区别开。确保你设计的是最小可用产品（minimum viable product）。 4、预先规划市场营销策略。你认为自己研发一种了不起的产品，其他人可不这么认为。所以市场营销和用户接纳程度是创业成功的关键。我经常看到很多创业者花大部分时间和精力开发产品，但是在产品发布方面，未能给出详细的策略和预算。如果想让公司发展壮大，一开始就要想好市场营销策略。 5、从不询问建议。逃避任何刺耳的批评只会让你走向失败。有经验人士提供的建设性批评意见能保持公司健康发展。收集这些反馈意见时保持开放的态度。只为那些真正值得你关注的意见改变策略。 6、想的太大。你想让每个人都用你的产品，这是根本不可能的事情。你可以想的很大，但找到属于自己的小市场。这样市场营销会更廉价、有效和方便。比如你开发了高尔夫产品，你绝对不会把它推销给阿拉斯加人，对吧？相反，你应该关注一个地区以及所选目标客户的潜在共同兴趣。这样市场营销策略会更加简单化。 7、雇错了人。就像我之前说的那样，人才是伟大创意后面的驱动力。如果你的团队充斥着不够激情、机智的人，那么他们就为你埋下失败的伏笔。他们甚至可能是你的商业伙伴。如果设立长久的成功目标，就要选择恰当的团队成员，同时他们在技能、观点和做事角度方面和你形成平衡。 转自：http://www.oschina.net/news/41683/7-reasons-for-business-fail

闭包

基本概念 闭包是可以包含自由（未绑定到特定对象）变量的代码块；这些变量不是在这个代码块内或者任何全局上下文中定义的，而是在定义代码块的环境中定义（局部变量）。“闭包” 一词来源于以下两者的结合：要执行的代码块（由于自由变量被包含在代码块中，这些自由变量以及它们引用的对象没有被释放）和为自由变量提供绑定的计算环境（作用域）。在 Scala、Scheme、Common Lisp、Smalltalk、Groovy、JavaScript、Ruby 和 Python，objective c 等语言中都能找到对闭包不同程度的支持。 在编程领域我们可以通俗的说：子函数可以使用父函数中的局部变量，这种行为就叫做闭包！ 价值 闭包的价值在于可以作为函数对象 或者匿名函数，对于类型系统而言这就意味着不仅要表示数据还要表示代码。支持闭包的多数语言都将函数作为第一级对象，就是说这些函数可以存储到变量中、作为参数传递给其他函数，最重要的是能够被函数动态地创建和返回。 数学意义 若在一个集合上进行某种运算，其运算结果仍为集合中的元素，则称该集合为此运算上的闭包。 本质 集合 S 是闭集当且仅当 Cl(S)=S（这里的cl即closure，闭包）。特别的，空集的闭包是空集，X 的闭包是 X。集合的交集的闭包总是集合的闭包的交集的子集（不一定是真子集）。有限多个集合的并集的闭包和这些集合的闭包的并集相等；零个集合的并集为空集，所以这个命题包含了前面的空集的闭包的特殊情况。无限多个集合的并集的闭包不一定等于这些集合的闭包的并集，但前者一定是后者的父集 若 A 为包含 S 的 X 的子空间，则 S 在 A 中计算得到的闭包等于 A 和 S 在 X 中计算得到的闭包（Cl_A(S) = A\cap Cl_X(S））的交集。特别的，S在 A 中是稠密的，当且仅当 A 是 Cl_X(S) 的子集。 闭包点 对欧几里德空间的子集 S，x 是 S 的闭包点，若所有以 x 为中心的开球都包含 S 的点（这个点也可以是 x）。 这个定义可以推广到度量空间 X 的任意子集 S。具体地说，对具有度量 d 的度量空间 X，x 是 S 的闭包点，若对所有 r > 0，存在 y 属于 S，使得距离 d(x,y) < r（同样的，可以是 x = y）。另一种说法可以是，x 是 S 的闭包点，若距离 d(x,S) := inf{d(x,s) : […]

单点登录

最近面试程序同时，问过这个概念，很多都不知道。在职的同事对此概念也较为模糊，贴一下百科的解释普及一下： 概述 单点登录（Single Sign On），简称为 SSO，是目前比较流行的企业业务整合的解决方案之一。SSO的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。 通常情况下运维内控审计系统、4A系统或者都包含此项功能，目的是简化账号登陆过程并保护账号和密码安全，对账号进行统一管理。 企业应用集成（EAI, Enterprise Application Integration）。企业应用集成可以在不同层面上进行：例如在数据存储层面上的“数据大集中”，在传输层面上的“通用数据交换平台”，在应用层面上的“业务流程整合”，和用户界面上的“通用企业门户”等等。事实上，还有一个层面上的集成变得越来越重要，那就是“身份认证”的整合，也就是“单点登录”。 在信息安全管理中，访问控制(Access Controls)环绕四个过程：Identification；Authentication；Authorization；Accountability。单点登录（Single Sign On）属于Authorization授权系统，除单点登录外还包括：Lightweight Directory Access Protocol 和 Authorization ticket。（Michael E. Whitman (2011) Management Of Information Security Kennesaw University) 技术实现机制 当用户第一次访问应用系统1的时候，因为还没有登录，会被引导到认证系统中进行登录；根据用户提供的登录信息，认证系统进行身份效验，如果通过效验，应该返回给用户一个认证的凭据－－ticket；用户再访问别的应用的时候，就会将这个ticket带上，作为自己认证的凭据，应用系统接受到请求之后会把ticket送到认证系统进行效验，检查ticket的合法性。如果通过校验，用户就可以在不用再次登录的情况下访问应用系统2和应用系统3了。