C# 5.0中引入了async 和 await。这两个关键字可以让你更方便的写出异步代码。 看个例子： public class MyClass { public MyClass() { DisplayValue(); //这里不会阻塞 System.Diagnostics.Debug.WriteLine("MyClass() End."); } public Task<double> GetValueAsync(double num1, double num2) { return Task.Run(() => { for (int i = 0; i < 1000000; i++) { num1 = num1 / num2; } return num1; }); } public async void DisplayValue() { double result = await GetValueAsync(1234.5, 1.01);//此处会开新线程处理GetValueAsync任务，然后方法马上返回 //这之后的所有代码都会被封装成委托，在GetValueAsync任务完成时调用 System.Diagnostics.Debug.WriteLine("Value is : " + result); } } 上面在MyClass的构造函数里调用了async关键字标记的异步方法DisplayValue()，DisplayValue()方法里执行了一个await关键字标记的异步任务GetValueAsync()，这个异步任务必须是以Task或者Task<TResult>作为返回值的，而我们也看到，异步任务执行完成时实际返回的类型是void或者TResult，DisplayValue()方法里await GetValueAsync()之后的所有代码都会在异步任务完成时才会执行。 DisplayValue()方法实际执行的代码如下： public void DisplayValue() { System.Runtime.CompilerServices.TaskAwaiter<double> awaiter = GetValueAsync(1234.5, 1.01).GetAwaiter(); awaiter.OnCompleted(() => { double result = awaiter.GetResult(); System.Diagnostics.Debug.WriteLine("Value is : " + result); }); } 可以看到，async和await关键字只是把上面的代码变得更简单易懂而已。 程序的输出如下： MyClass() End. Value is : 2.47032822920623E-322 以下是我写的一个静态类，可以方便将一个普通Function执行异步调用： public static class TaskAsyncHelper { /// <summary> /// 将一个方法function异步运行，在执行完毕时执行回调callback /// </summary> /// <param name="function">异步方法，该方法没有参数，返回类型必须是void</param> /// <param name="callback">异步方法执行完毕时执行的回调方法，该方法没有参数，返回类型必须是void</param> public static async void RunAsync(Action function, Action callback) { Func<System.Threading.Tasks.Task> taskFunc = () => { return System.Threading.Tasks.Task.Run(() => { function(); }); }; await taskFunc(); if (callback != null) callback(); } /// <summary> /// 将一个方法function异步运行，在执行完毕时执行回调callback /// </summary> /// <typeparam name="TResult">异步方法的返回类型</typeparam> /// <param name="function">异步方法，该方法没有参数，返回类型必须是TResult</param> /// <param name="callback">异步方法执行完毕时执行的回调方法，该方法参数为TResult，返回类型必须是void</param> public static async void RunAsync<TResult>(Func<TResult> function, Action<TResult> callback) { Func<System.Threading.Tasks.Task<TResult>> taskFunc = ()=> { return System.Threading.Tasks.Task.Run(()=> { return function(); }); }; TResult rlt = await taskFunc(); if(callback != null) callback(rlt); […]
View Details1、docker安装 debian7安装docker 参考地址：http://www.webmaster.me/server/installing-docker-on-debian- wheezy-in-60-seconds.html echo deb http://get.docker.io/ubuntu docker main | sudo tee/etc/apt/sources.list.d/docker.list sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 36A1D7869245C8950F966E92D8576A8BA88D21E9 sudo apt-get update sudo apt-get install -y lxc-docker #四行命令，Docker就安装好了。下面创建一个ubuntu虚拟系统： docker pull ubuntu #此处是从官网拉取名为ubuntu的image，也可手动在 https://index.docker.io上搜索想要的镜像。 docker run -i -t ubuntu /bin/bash #创建一个容器，-t是临时终端。 ubuntu12.04、windows、macOS安装docker 参考docker中文文档http://www.widuu.com/docker/ 2、docker使用过程实践 2.1 在测试机启动容器，安装ssh docker run -i -t ubuntu /bin/bash #此方式运行的容器，退出后容器就会 关闭。 apt-get install openssh-server #安装ssh #需要修改/etc/sshd/sshd_config文件中内容 PermitRootLogin yes UsePAM no 2.2 启动ssh，容器以后台方式运行 docker run -d -p 50001:22 <容器id> /usr/sbin/sshd-D #容器id可通过 docker ps-a查看，最上面的为最新的。 2.3 通过ssh连接到容器安装软件 ssh root@127.0.0.1-p 50001 #连上后想装什么就装什么，可使用exit退出容器，但后台还会运行。 2.4 服务安装完成后，停止容器。 docker stop <容器id> #停止运行的容器 2.5 把容器提交生成最新的镜像 […]
View Details以下所列是我在这些年来软件开发工作过程中受到的启发，还有总结而来的好经验。 开发 从小事做起，然后再扩展 无论是创建一个新的系统，还是在现有的系统中添加新的功能，我总是从一个简单到几乎没有任何所需功能的版本开始，然后再一步一步地解决问题，直到满意为止。我从来没有妄想过能够一步登天。相反，我一边开发一边学习，同时新掌握的信息还可以用于解决方案中。 我很喜欢 John Gall 的这句话： “复杂系统总是源于简单系统的演化。” 2. 一次只做一件事 当我们在开发时，碰到测试失败和功能无效的情况，如果你一次只研究一个问题，那将会更容易找到问题的关键。换言之，就是使用短迭代。必须确保这个问题解决之后，再转移到另一个问题上。这适用于向下提交。如果在你添加新功能之前需要先重构代码，那么先提交重构，然后再添加新的功能。 3. 尽早地添加日志和错误处理 在开发新系统时，我做的第一件事就是添加日志和错误处理，因为这两者从一开始就非常有用。对系统来说它比一大把代码更有用，你需要一些了解程序状态的方法。如果系统不能照常工作，那么你就需要知道程序中发生了什么——这是日志的作用。错误处理也是如此——错误和异常越早处理越好。 4. 每一行新代码必须至少执行一次 在你真正完成一个功能之前，你必须对它进行测试。不然，你怎么知道它是不是按照你的想法在执行呢?通常情况下，最好的方法是通过自动测试，但并非总是如此。不过，不管怎么说，每一行新代码必须至少执行一次。 一般，我们想触发某种条件很难。但幸运的是，我们可以作弊。例如，数据的错误处理可以通过临时拼写错一个列名来触发。或者，一个if语句可以暂时颠倒过来（从 if error 变成 if not error），这样来触发那些平时很难触发的条件，这样只是为了确定代码是否正常运行和它会出现什么结果。 有时，我发现有一些行代码永远都不会被运行。当我们做代码检查是它看起来没有什么问题，但就是不工作。你要避免这样的尴尬状况，如果你想你的每一行新代码都会被执行。 5. 在整体测试之前先进行模块测试 先进行部分模块测试可以节省时间。通常说来，我们在整合不同的模块时也会出现问题，例如模块之间的接口不匹配。但是如果我们能够信任各个组件的话，那么跟踪集成问题就会变得简单得多。 6. 所有事情所花费的时间总是比你预期的要长 特别是在编程中，即使一切进展顺利，我们也很难对功能所需的时间做出正确的预算。并且，开发软件时碰到各种意想不到的问题是非常常见的。一个简单的合并操作会导致一系列小bug，一次框架升级意味着一些函数必须改变或者一些API不按照你想象的那样工作。 Hofstadter Law（ 霍夫施塔特定律）其实道出了真谛：做事所花费的时间总是比你预期的要长，即使你在预期中已经考虑了 Hofstadter Law（ 霍夫施塔特定律）。 7. 先了解现有的代码 大多数的编码都需要以某种方式改变现有的代码。即使是新功能，也需要适应现有的程序。所以，在你加进去新的内容前，首先需要了解当前的解决方案。否则，你一不小心就很有可能会打破现有的功能。这意味着，阅读代码和编写代码都是必要的技能。这也是为什么看似微小的变化仍可能需要很长时间才能解决的原因之一，因为你首先必须了解上下文。 8. 阅读和运行代码 幸运的是，对于理解代码，我们有两种互补的方法。你可以阅读代码，也可以运行代码。运行代码的确是个非常棒的好方法。所以，请确保充分利用这两种方法。 故障排除 9. Bug 总是难免的 我不喜欢那些宣称软件开发可以“一蹴而就”的高谈阔论。不论你再怎么努力，bug总是难免的（BUG的定义基本上是:“我们没有想到”）。最好能够做成可以快速故障排除、修复bug和部署修复的系统。 10. 解决故障报告 每个开发人员都应该花时间去处理来自客户的故障报告，并修复bug。这能让你更好地理解客户的意图，明白如何使用系统，知道排除故障的难易程度，了解系统的设计情况。这也是为自己的开发成果负责的好方法。不要错过这些好处。 11. 重现问题 修复bug的第一步就是重现问题。然后你得确保修复之后，问题能够彻彻底底地消失。这样一个简单的规则，可以确保你不会误将非问题当作是问题，并确保解决方案真的能够奏效。 12. 修复已知错误，然后再看看有没有其他不对的地方 有时候，可能同时存在着几个不同的问题。它们之间的互相作用，可能会让你毫无头绪，束手无策。不要纠结于搞清楚发生了什么，先去解决所有已知的问题，然后再看看还有什么不对的地方。 13. 没有巧合 在测试和故障排除时，不要相信会出现什么巧合。就像你改变了定时器的值，那么就会改变系统重启的频率。所以一切都并非是巧合。添加新功能，另一个不相干的功能变慢了？这绝对不是巧合。相反，是你应该仔细调查的内容。 14. 关联时间戳 在故障排除时，事件的时间戳可以作为你的好帮手。寻找偶数增量。例如，如果系统重启了，并且刚刚发出过一个3000毫秒左右的请求，那么可能是触发了某个定时器，才导致出现重启的动作。 合作 15. 面对面的交流最有效 当我们需要讨论如何解决问题时，那么面对面的交流比视频、打电话和电子邮件都要好。我经常在与同事讨论完后发现一个令人兴奋的更好的方案。 16. 小黄鸭调试法 遇到你绞尽脑汁也解决不了的问题时，不妨找一个同事，然后将问题解释给他们听。很多时候，当你在叙述时，即使你的同事一言不发，你可能也会突然灵光乍现找到问题的关键。听起来像魔法，但是这经常起作用。详情看这篇文章：《小黄鸭调试法，每个程序员都要知道的》 17. 问问题 阅读和运行代码往往非常有助于指出代码的目的和它的工作原理。但是如果你有机会咨询那些更为了解的人（例如原来的程序员），那么千万不要错过。继续问他们具体的问题、后续的问题，这几分钟内给你的信息可能是你需要花费好几天才能获得的。 18. 共享荣誉 不要贪图荣誉，该是谁的就是谁的。例如：“Marcus 想出了这个主意……”(如果真是他想的话)，而不要说“我们想出的……”。大胆的说出那些帮助过你或者贡献过力量的人的名字。 其他 19. 动手去做 如果你不知道某种编程语言功能的工作原理，那么不妨写一个小程序来理解它是如何工作的。这同样适用于测试你正在开发的系统。如果我将参数设置为-1，会发生什么？当我在重启系统时，如果服务当掉，会发生什么？以此来研究它的工作原理。经常做这些会帮你发现bug，在此同时也会加深你的系统工作的了解。 20. 带着问题睡觉 如果你正在解决一个很难的问题，那么不妨带着问题睡觉。有科学研究表明，这样做虽然你表明上并没有在主动思考，但你的潜意思却这么做了。其结果就是，第二天再去研究问题，解决方案已经呼之欲出了。 21. 改变/跳槽 不要害怕角色变化。和不同的人共事，开发不同的产品，感受不同的公司文化是非常有意思的。在我看来，太多的人只是被动地呆在同样的地方年复一年的工作，只有在被迫的情况下才去改变。 22. 活到老学到老 软件行业的一大魅力就是我们随时有机会可以学到新的东西。你可以尝试不同的编程语言和工具，阅读软件开发的书籍，接受MOOC课程。相信我，量变才能达到质的飞跃，这些小小的学习积累，终有一天会大大地提高你的知识和能力。 […]
View DetailsChrome 浏览器具有强大的跨平台能力以及丰富的扩展插件，一直是许多开发者的首要选择。而利用许多 Chrome 插件，开发者们在开发流程中能够极大地提高开发效率。我们就整理了十款开发者常用的 Chr Chrome 浏览器具有强大的跨平台能力以及丰富的扩展插件，一直是许多开发者的首要选择。而利用许多 Chrome 插件，开发者们在开发流程中能够极大地提高开发效率。我们就整理了十款开发者常用的 Chrome 插件推荐给大家，相信能够在你的开发中助你一臂之力。 1. 掘金 Chrome 插件:帮你发现干货 不管你是开发者、设计师还是产品经理，想必每天都需要阅读大量的行业相关文章，这就需要我们浏览大量的互联网站点去寻找我们需要的内容。抛开繁复的筛选成本不说，「比特级」的内容都会压得你喘不过气来。 掘金为了解决这个问题，开发了掘金 Chrome 插件，掘金 Chrome 插件聚合了国内外优质的互联网站点内容，在节省你的筛选成本的同时，帮你发现好内容。 2. Postman：强大的 API & HTTP 请求调试工具 相 信 Postman 对于掘金上的各位开发者来说，一定不会陌生，这是一款强大的 API & HTTP 请求调试工具，Postman 不仅可以调试简单的 HTML、CSS 以及脚本等简单的网页基本信息，这款 Chrome 插件甚至还能发送几乎所有的 HTTP 请求，可谓是 Web 开发者的一大利器。 3. BuiltWith Technology Profiler：你的网站，用了什么技术栈？ 作为开发者，对于友商网站所使用的技术栈想必也充满了许多好奇心，有没有工具能够帮你完成这项工作呢？答案就是 Chrome 插件 BuiltWith Technology Profiler，它能够帮你分类呈现当前访问网站的技术栈组成，实乃探索友商之利器。 当然，同类产品中，你也可以使用 Wappalyzer 这一款 Chrome 插件。 4. Octotree：你的 GitHub 文档库 GitHub 现有的目录层级形式，在查看来自不同层级文件夹的文件的时候，显得似乎不是很方便，Octotree 这款 Chrome 插件能够让你通过文档库的方式管理、查看你的 GitHub 仓库，简单直观的同时，也方便你进行文件之间的跳转操作。 5. GitHub Awesome Complete：属于 GitHub 的 「Alfred」 在 GitHub 搜索仓库或者项目的时候，你会怎么做？相信大部分人的步骤都是一样的： 在搜索框输入关键字后按回车键 在搜索结果中找到相应结果，点击进入相应页面 有没有更简单快捷的操作方法？答案是 GitHub Awesome Complete 这款 Chrome […]
View Details最近在忙着优化集团公司的一个报表。优化完成后，报表查询速度有从半小时以上(甚至查不出)到秒查的质变。从修改SQL查询语句逻辑到决定创建存储过程实现，花了我3天多的时间，在此总结一下，希望对朋友们有帮助。 数据背景 首先，项目是西门子中国在我司实施部署的MES项目，由于项目是在产线上运作(3 years+)，数据累积很大。在项目的数据库中，大概上亿条数据的表有5个以上，千万级数据的表10个以上，百万级数据的表，很多… (历史问题，当初实施无人监管，无人监控数据库这块的性能问题。ps:我刚入职不久…) 不多说，直接贴西门子中国的开发人员在我司开发的SSRS报表中的SQL语句：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 |
select distinct b.MaterialID as matl_def_id, c.Descript, case when right(b.MESOrderID, 12) < '001000000000' then right(b.MESOrderID, 9) else right(b.MESOrderID, 12) end as pom_order_id, a.LotName, a.SourceLotName as ComLot, e.DefID as ComMaterials, e.Descript as ComMatDes, d.VendorID, d.DateCode,d.SNNote, b.OnPlantID,a.SNCUST from ( select m.lotname, m.sourcelotname, m.opetypeid, m.OperationDate,n.SNCUST from View1 m left join co_sn_link_customer as n on n.SNMes=m.LotName where ( m.LotName in (select val from fn_String_To_Table(@sn,',',1)) or (@sn) = '') and ( m.sourcelotname in (select val from fn_String_To_Table(@BatchID,',',1)) or (@BatchID) = '') and (n.SNCust like '%'+ @SN_ext + '%' or (@SN_ext)='') ) a left join ( select * from Table1 where SNType = 'IntSN' and SNRuleName = 'ProductSNRule' and OnPlantID=@OnPlant ) b on b.SN = a.LotName inner join MMdefinitions as c on c.DefID = b.MaterialID left join Table1 as d on d.SN = a.SourceLotName inner join MMDefinitions as e on e.DefID = d.MaterialID where not exists ( select distinct LotName, SourceLotName from ELCV_ASSEMBLE_OPS where LotName = a.SourceLotName and SourceLotName = a.LotName ) and (d.DateCode in (select val from fn_String_To_Table(@DCode,',',1)) or (@DCode) = '') and (d.SNNote like '%'+@SNNote+'%' or (@SNNote) = '') and ((case when right(b.MESOrderID, 12) < '001000000000' then right(b.MESOrderID, 9) else right(b.MESOrderID, 12) end) in (select val from fn_String_To_Table(@order_id,',',1)) or (@order_id) = '') and (e.DefID in (select val from fn_String_To_Table(@comdef,',',1)) or (@comdef) = '') --View1是一个嵌套两层的视图(出于保密性，实际名称可能不同)，里面有一张上亿数据的表和几张千万级数据的表做左连接查询 --Table1是一个数据记录超过1500万的表 |
这个查询语句，实际上通过我的检测和调查，在B/S系统前端已无法查出结果，半小时，一小时 … 。因为我直接在SQL查询分析器查，半小时都没有结果。 (原因是里面对一张上亿级数据表和3张千万级数据表做全表扫描查询) 不由感慨，西门子中国的素质(或者说责任感)就这样？ 下面说说我的分析和走的弯路(思维误区)，希望对你也有警醒。 探索和误区 首先相关表的索引，没有建全的，把索引给建上。 索引这步完成后，发现情况还是一样，查询速度几乎没有改善。后来想起相关千万级数据以上的表，都还没有建立表分区。于是考虑建立表分区以及数据复制的方案。 这里有必要说明下：我司报表用的是一个专门的数据库服务器，数据从产线订阅而来。就是常说的“读写分离”。 如果直接在原表上建立表分区，你会发现执行表分区的事物会直接死锁。原因是：表分区操作本身会锁表，产线还在推数据过来，这样很容易“阻塞”，“死锁”。 我想好的方案是：建立一个新表(空表)，在新表上建好表分区，然后复制数据过来。 正打算这么干。等等！我好像进入了一个严重的误区！ 分析： 原SQL语句和业务需求，是对产线的数据做产品以及序列号的追溯，关键是查询条件里没有有规律的"条件"(如日期、编号)，贸然做了表分区，在这里几乎没有意义！反而会降低查询性能！ 好险！还是一步一步来，先做SQL语句分析。 一、对原SQL语句的分析 1、查询语句的where条件，有大量@var in … or (@var =") 的片段 2、where条件有like '%’+@var+’%' 3、where条件有 case … end 函数 4、多次连接同一表查询，另外使用本身已嵌套的视图表，是不是必须，是否可替代？ 5、SQL语句有*号，视图中也有*号出现 二、优化设计 首先是用存储过程改写，好处是设计灵活。 核心思想是：用一个或多个查询条件(查询条件要求至少输入一个)得到临时表，每个查询条件如果查到集合，就更新这张临时表，最后汇总的时候，只需判断这个临时表是否有值。以此类推，可以建立多个临时表，将查询条件汇总。 这样做目前来看至少两点好处： 1、省去了对变量进行 =@var or (@var=")的判断； 2、抛弃sql拼接，提高代码可读性。 再有就是在书写存储过程，这个过程中要注意： 1、尽量想办法使用临时表扫描替代全表扫描； 2、抛弃in和not in语句，使用exists和not exists替代； 3、和客户确认，模糊查询是否有必要，如没有必要，去掉like语句； 4、注意建立适当的，符合场景的索引； 5、踩死 "*" 号； 6、避免在where条件中对字段进行函数操作； 7、对实时性要求不高的报表，允许脏读(with(nolock))。 三、存储过程 如果想参考优化设计片段的详细内容，请参阅SQL代码：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 |
/** * 某某跟踪报表 **/ --exec spName1 '','','','','','','公司代号' CREATE Procedure spName1 @MESOrderID nvarchar(320), --工单号,最多30个 @LotName nvarchar(700), --产品序列号,最多50个 @DateCode nvarchar(500), --供应商批次号,最多30个 @BatchID nvarchar(700), --组装件序列号/物料批号,最多50个 @comdef nvarchar(700), --组装件物料编码,最多30个 @SNCust nvarchar(1600), --外部序列号,最多50个 @OnPlant nvarchar(20) --平台 AS BEGIN SET NOCOUNT ON; /** * 1)定义全局的临时表，先根据六个查询条件的任意一个，得出临时表结果 **/ CREATE TABLE #FinalLotName ( LotName NVARCHAR(50), --序列号 SourceLotName NVARCHAR(50), --来源序列号 SNCust NVARCHAR(128) --外部序列号 ) --1.1 IF @LotName<>'' BEGIN SELECT Val INTO #WorkLot FROM fn_String_To_Table(@LotName,',',1) SELECT LotPK,LotName INTO #WorkLotPK FROM MMLots WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkLot b WHERE b.Val=MMLots.LotID) --求SourceLotPK只能在这里求 SELECT a.LotPK,a.SourceLotPK into #WorkSourcePK FROM MMLotOperations a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkLotPK b WHERE b.LotPK=a.LotPK) AND a.SourceLotPK IS NOT NULL SELECT a.LotPK,a.SourceLotPK,b.LotName INTO #WorkSourcePK2 FROM #WorkSourcePK a JOIN #WorkLotPK b ON a.LotPK=b.LotPK INSERT INTO #FinalLotName SELECT a.LotName,b.LotName AS SourceLotName,NULL FROM #WorkSourcePK2 a JOIN (SELECT LotPK,LotName FROM MMLots WITH(NOLOCK) ) b on a.SourceLotPK=b.LotPK --b的里面加不加WHERE RowDeleted=0待确定 SELECT a.LotName,a.SourceLotName,b.SNCust INTO #FinalLotNameX1 FROM #FinalLotName a LEFT JOIN CO_SN_LINK_CUSTOMER b WITH(NOLOCK) ON a.LotName=b.SNMes DELETE FROM #FinalLotName INSERT INTO #FinalLotName SELECT LotName,SourceLotName,SNCust FROM #FinalLotNameX1 END --1.2 IF @BatchID<>'' BEGIN SELECT Val INTO #WorkSourceLot FROM fn_String_To_Table(@BatchID,',',1) IF EXISTS(SELECT 1 FROM #FinalLotName)--如果@LotName也不为空 BEGIN SELECT a.LotName,a.SourceLotName,a.SNCust INTO #FinalLotNameX2 FROM #FinalLotName a WHERE EXISTS(SELECT 1 FROM #WorkSourceLot b WHERE a.SourceLotName=b.Val) DELETE FROM #FinalLotName INSERT INTO #FinalLotName SELECT LotName,SourceLotName,SNCust FROM #FinalLotNameX2 END ELSE --@LotName条件为空 BEGIN SELECT LotPK AS SourceLotPK,LotName AS SourceLotName INTO #2 FROM MMLots WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkSourceLot b WHERE b.Val=MMLots.LotID) SELECT a.LotPK,a.SourceLotPK into #21 FROM MMLotOperations a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #2 b WHERE b.SourceLotPK=a.SourceLotPK) SELECT a.LotPK,a.SourceLotPK,b.SourceLotName INTO #22 FROM #21 a JOIN #2 b ON a.SourceLotPK=b.SourceLotPK INSERT INTO #FinalLotName SELECT b.LotName,a.SourceLotName,NULL FROM #22 a JOIN (SELECT LotPK,LotName FROM MMLots WITH(NOLOCK) ) b on a.LotPK=b.LotPK --b的里面加不加WHERE RowDeleted=0待确定 SELECT a.LotName,a.SourceLotName,b.SNCust INTO #FinalLotNameX21 FROM #FinalLotName a LEFT JOIN CO_SN_LINK_CUSTOMER b WITH(NOLOCK) ON a.LotName=b.SNMes DELETE FROM #FinalLotName INSERT INTO #FinalLotName SELECT LotName,SourceLotName,SNCust FROM #FinalLotNameX21 END END --1.3 IF @SNCust<>'' BEGIN SELECT Val INTO #WorkCustomSN FROM fn_String_To_Table(@SNCust,',',1) IF EXISTS(SELECT 1 FROM #FinalLotName)--前面两个条件至少有一个有值 BEGIN SELECT a.LotName,a.SourceLotName,a.SNCust INTO #FinalLotNameX3 FROM #FinalLotName a WHERE EXISTS(SELECT 1 FROM #WorkCustomSN b WHERE a.SNCust=b.Val) DELETE FROM #FinalLotName INSERT INTO #FinalLotName SELECT LotName,SourceLotName,SNCust FROM #FinalLotNameX3 END ELSE BEGIN SELECT a.SNMes INTO #WorkLotX FROM CO_SN_LINK_CUSTOMER a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkCustomSN b WHERE a.SNCust=b.Val) -------------------以下逻辑和变量1(@LotName)类似[先根据外部序列号求解序列号,再照搬第一个判断变量的方式] SELECT LotPK,LotName INTO #WorkLotPKX FROM MMLots WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkLotX b WHERE b.SNMes=MMLots.LotID) --求SourceLotPK只能在这里求 SELECT a.LotPK,a.SourceLotPK into #WorkSourcePKX FROM MMLotOperations a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkLotPKX b WHERE b.LotPK=a.LotPK) AND a.SourceLotPK IS NOT NULL SELECT a.LotPK,a.SourceLotPK,b.LotName INTO #WorkSourcePK2X FROM #WorkSourcePKX a JOIN #WorkLotPKX b ON a.LotPK=b.LotPK INSERT INTO #FinalLotName SELECT a.LotName,b.LotName AS SourceLotName,NULL FROM #WorkSourcePK2X a JOIN (SELECT LotPK,LotName FROM MMLots WITH(NOLOCK) ) b on a.SourceLotPK=b.LotPK --b的里面加不加WHERE RowDeleted=0待确定 SELECT a.LotName,a.SourceLotName,b.SNCust INTO #FinalLotNameX31 FROM #FinalLotName a LEFT JOIN CO_SN_LINK_CUSTOMER b WITH(NOLOCK) ON a.LotName=b.SNMes DELETE FROM #FinalLotName INSERT INTO #FinalLotName SELECT LotName,SourceLotName,SNCust FROM #FinalLotNameX31 ----------------------- END END /** * 2)定义全局的临时表，用于替换第一个全局临时表。 **/ CREATE TABLE #FinalCO_SN ( SN NVARCHAR(50), SourceSN NVARCHAR(50), SNCust NVARCHAR(128), matl_def_id NVARCHAR(50),--sn的物料ID ComMaterials NVARCHAR(50), --SourceSN的物料ID MESOrderID NVARCHAR(20), OnPlantID NVARCHAR(20), VendorID NVARCHAR(20), DateCode NVARCHAR(20) , SNNote NVARCHAR(512) ) --2.1 IF @MESOrderID<>'' BEGIN -------------------------------将MESOrderID做特殊处理----------------------------------- SELECT Val INTO #WorkMESOrderID FROM fn_String_To_Table(@MESOrderID,',',1) IF @OnPlant='Comba' BEGIN UPDATE #WorkMESOrderID SET Val='C000'+Val WHERE LEN(Val)=9 END ELSE BEGIN UPDATE #WorkMESOrderID SET Val='W000'+Val WHERE LEN(Val)=9 END SELECT SN,MaterialID,MESOrderID,OnPlantID INTO #WorkCO_SN1 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE SNType='IntSN' AND SNRuleName = 'ProductSNRule' AND OnPlantID=@OnPlant AND EXISTS(SELECT 1 FROM #WorkMESOrderID b WHERE a.MESOrderID=b.Val) ------------------------------------------------------------------------------------------ --条件判断(逻辑分析)开始 IF EXISTS(SELECT 1 FROM #FinalLotName)--如果前面判断的查询条件有值 BEGIN --查出SourceLotName对应的查询字段 SELECT a.SN AS SourceLotName,a.VendorID,a.DateCode,a.SNNote,a.MaterialID AS ComMaterials INTO #SourceLotNameTable FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SN=b.SourceLotName) INSERT INTO #FinalCO_SN SELECT a.LotName,a.SourceLotName,d.SNCust,b.MaterialID,c.ComMaterials,b.MESOrderID,b.OnPlantID,c.VendorID,c.DateCode,c.SNNote FROM #FinalLotName a LEFT JOIN #WorkCO_SN1 b ON a.LotName=b.SN LEFT JOIN #SourceLotNameTable c ON a.SourceLotName=c.SourceLotName LEFT JOIN CO_SN_LINK_CUSTOMER d WITH(NOLOCK) ON a.LotName=d.SNMes END ELSE BEGIN --已知SN集合求解对应的SourceSN和SNCust集合------------------------------------------ SELECT LotPK,LotName INTO #WorkLotPK410 FROM MMLots WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkCO_SN1 b WHERE b.SN=MMLots.LotID) SELECT a.LotPK,a.SourceLotPK into #WorkSourcePK420 FROM MMLotOperations a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkLotPK410 b WHERE b.LotPK=a.LotPK) AND a.SourceLotPK IS NOT NULL SELECT a.LotPK,a.SourceLotPK,b.LotName INTO #WorkSourcePK430 FROM #WorkSourcePK420 a JOIN #WorkLotPK410 b ON a.LotPK=b.LotPK INSERT INTO #FinalLotName SELECT a.LotName,b.LotName AS SourceLotName,NULL FROM #WorkSourcePK430 a JOIN (SELECT LotPK,LotName FROM MMLots WITH(NOLOCK) ) b on a.SourceLotPK=b.LotPK --b的里面加不加WHERE RowDeleted=0待确定 SELECT a.LotName,a.SourceLotName,b.SNCust INTO #FinalLotNameX440 FROM #FinalLotName a LEFT JOIN CO_SN_LINK_CUSTOMER b WITH(NOLOCK) ON a.LotName=b.SNMes DELETE FROM #FinalLotName INSERT INTO #FinalLotName SELECT LotName,SourceLotName,SNCust FROM #FinalLotNameX440 ------------------------------------------------------------------------------------- SELECT a.SN AS SourceLotName,a.VendorID,a.DateCode,a.SNNote,a.MaterialID AS ComMaterials INTO #SourceLotNameTable2 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SN=b.SourceLotName) INSERT INTO #FinalCO_SN SELECT a.LotName,a.SourceLotName,a.SNCust,b.MaterialID,c.ComMaterials,b.MESOrderID,b.OnPlantID,c.VendorID,c.DateCode,c.SNNote FROM #FinalLotName a LEFT JOIN #WorkCO_SN1 b ON a.LotName=b.SN LEFT JOIN #SourceLotNameTable2 c ON a.SourceLotName=c.SourceLotName END END --2.2 IF @DateCode<>'' BEGIN SELECT Val INTO #WorkDateCode FROM fn_String_To_Table(@DateCode,',',1) --此@DataCode条件求解出来的是SourceSN SELECT SN AS SourceSN,MaterialID AS ComMaterials,VendorID,DateCode,SNNote INTO #WorkSourceSNT1 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkDateCode b WHERE a.DateCode=b.Val) ---------------------------------------------------------------------------------------------------- --条件判断(逻辑分析)开始 IF EXISTS(SELECT 1 FROM #FinalCO_SN)--如果前面判断的查询条件有值 BEGIN SELECT a.LotName,a.SourceLotName,a.SNCust,a.MaterialID,a.ComMaterials,a.MESOrderID,a.OnPlantID,a.VendorID,a.DateCode,a.SNNote INTO #TMP51 FROM #FinalCO_SN a WHERE EXISTS (SELECT 1 FROM #WorkDateCode b WHERE a.DateCode=b.Val) DELETE FROM #FinalCO_SN INSERT INTO #FinalCO_SN SELECT LotName,SourceLotName,SNCust,MaterialID,ComMaterials,MESOrderID,OnPlantID,VendorID,DateCode,SNNote FROM #TMP51 END ELSE BEGIN IF EXISTS(SELECT 1 FROM #FinalLotName) BEGIN --查出SourceLotName对应的查询字段 SELECT a.SourceSN,a.VendorID,a.DateCode,a.SNNote,a.ComMaterials INTO #SourceLTX5 FROM #WorkSourceSNT1 a WHERE EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SourceSN=b.SourceLotName) --查出SN对应的查询字段 SELECT SN,MaterialID,MESOrderID,OnPlantID INTO #WorkSNT510 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE SNType='IntSN' AND SNRuleName = 'ProductSNRule' AND OnPlantID=@OnPlant AND EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SN=b.LotName) INSERT INTO #FinalCO_SN SELECT a.LotName,a.SourceLotName,d.SNCust,b.MaterialID,c.ComMaterials,b.MESOrderID,b.OnPlantID,c.VendorID,c.DateCode,c.SNNote FROM #FinalLotName a LEFT JOIN #WorkSNT510 b ON a.LotName=b.SN LEFT JOIN #WorkSourceSNT1 c ON a.SourceLotName=c.SourceSN LEFT JOIN CO_SN_LINK_CUSTOMER d WITH(NOLOCK) ON a.LotName=d.SNMes END ELSE BEGIN --已知SourceSN集合求解对应的SN和SNCust集合------------------------------------------ SELECT LotPK AS SourceLotPK,LotName AS SrouceLotName INTO #WorkLotX510 FROM MMLots WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkSourceSNT1 b WHERE b.SourceSN=MMLots.LotID) SELECT a.LotPK,a.SourceLotPK into #WorkLotX520 FROM MMLotOperations a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkLotX510 b WHERE b.SourceLotPK=a.SourceLotPK) SELECT a.LotPK,a.SourceLotPK,b.SrouceLotName INTO #WorkLotX530 FROM #WorkLotX520 a JOIN #WorkLotX510 b ON a.SourceLotPK=b.SourceLotPK INSERT INTO #FinalLotName SELECT b.LotName,a.SrouceLotName,NULL FROM #WorkLotX530 a JOIN (SELECT LotPK,LotName FROM MMLots WITH(NOLOCK) ) b on a.LotPK=b.LotPK --b的里面加不加WHERE RowDeleted=0待确定 SELECT a.LotName,a.SourceLotName,b.SNCust INTO #WorkLotX540 FROM #FinalLotName a LEFT JOIN CO_SN_LINK_CUSTOMER b WITH(NOLOCK) ON a.LotName=b.SNMes DELETE FROM #FinalLotName INSERT INTO #FinalLotName SELECT LotName,SourceLotName,SNCust FROM #WorkLotX540 ------------------------------------------------------------------------------------- SELECT SN,MaterialID,MESOrderID,OnPlantID INTO #WorkLotX550 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE SNType='IntSN' AND SNRuleName = 'ProductSNRule' AND OnPlantID=@OnPlant AND EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SN=b.LotName) INSERT INTO #FinalCO_SN SELECT a.LotName,a.SourceLotName,a.SNCust,b.MaterialID,c.ComMaterials,b.MESOrderID,b.OnPlantID,c.VendorID,c.DateCode,c.SNNote FROM #FinalLotName a LEFT JOIN #WorkLotX550 b ON a.LotName=b.SN LEFT JOIN #WorkSourceSNT1 c ON a.SourceLotName=c.SourceSN END END END --2.3 IF @comdef<>'' BEGIN SELECT Val INTO #WorkComdef FROM fn_String_To_Table(@comdef,',',1) --此@comdef条件求解出来的是SourceSN SELECT SN AS SourceSN,MaterialID AS ComMaterials,VendorID,DateCode,SNNote INTO #WorkSourceSNT16 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkComdef b WHERE a.MaterialID=b.Val) ---------------------------------------------------------------------------------------------------- --条件判断(逻辑分析)开始 IF EXISTS(SELECT 1 FROM #FinalCO_SN)--如果前面判断的查询条件有值 BEGIN SELECT a.LotName,a.SourceLotName,a.SNCust,a.MaterialID,a.ComMaterials,a.MESOrderID,a.OnPlantID,a.VendorID,a.DateCode,a.SNNote INTO #TMP516 FROM #FinalCO_SN a WHERE EXISTS (SELECT 1 FROM #WorkComdef b WHERE a.matl_def_id=b.Val) DELETE FROM #FinalCO_SN INSERT INTO #FinalCO_SN SELECT LotName,SourceLotName,SNCust,MaterialID,ComMaterials,MESOrderID,OnPlantID,VendorID,DateCode,SNNote FROM #TMP516 END ELSE BEGIN IF EXISTS(SELECT 1 FROM #FinalLotName) BEGIN --查出SourceLotName对应的查询字段 SELECT a.SourceSN,a.VendorID,a.DateCode,a.SNNote,a.ComMaterials INTO #SourceLTX56 FROM #WorkSourceSNT16 a WHERE EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SourceSN=b.SourceLotName) --查出SN对应的查询字段 SELECT SN,MaterialID,MESOrderID,OnPlantID INTO #WorkSNT5106 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE SNType='IntSN' AND SNRuleName = 'ProductSNRule' AND OnPlantID=@OnPlant AND EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SN=b.LotName) INSERT INTO #FinalCO_SN SELECT a.LotName,a.SourceLotName,d.SNCust,b.MaterialID,c.ComMaterials,b.MESOrderID,b.OnPlantID,c.VendorID,c.DateCode,c.SNNote FROM #FinalLotName a LEFT JOIN #WorkSNT5106 b ON a.LotName=b.SN LEFT JOIN #WorkSourceSNT16 c ON a.SourceLotName=c.SourceSN LEFT JOIN CO_SN_LINK_CUSTOMER d WITH(NOLOCK) ON a.LotName=d.SNMes END ELSE BEGIN --已知SourceSN集合求解对应的SN和SNCust集合------------------------------------------ SELECT LotPK AS SourceLotPK,LotName AS SrouceLotName INTO #WorkLotX5106 FROM MMLots WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkSourceSNT16 b WHERE b.SourceSN=MMLots.LotID) SELECT a.LotPK,a.SourceLotPK into #WorkLotX5206 FROM MMLotOperations a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #WorkLotX5106 b WHERE b.SourceLotPK=a.SourceLotPK) SELECT a.LotPK,a.SourceLotPK,b.SrouceLotName INTO #WorkLotX5306 FROM #WorkLotX5206 a JOIN #WorkLotX5106 b ON a.SourceLotPK=b.SourceLotPK INSERT INTO #FinalLotName SELECT b.LotName,a.SrouceLotName,NULL FROM #WorkLotX5306 a JOIN (SELECT LotPK,LotName FROM MMLots WITH(NOLOCK) ) b on a.LotPK=b.LotPK --b的里面加不加WHERE RowDeleted=0待确定 SELECT a.LotName,a.SourceLotName,b.SNCust INTO #WorkLotX5406 FROM #FinalLotName a LEFT JOIN CO_SN_LINK_CUSTOMER b WITH(NOLOCK) ON a.LotName=b.SNMes DELETE FROM #FinalLotName INSERT INTO #FinalLotName SELECT LotName,SourceLotName,SNCust FROM #WorkLotX5406 ------------------------------------------------------------------------------------- SELECT SN,MaterialID,MESOrderID,OnPlantID INTO #WorkLotX5506 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE SNType='IntSN' AND SNRuleName = 'ProductSNRule' AND OnPlantID=@OnPlant AND EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SN=b.LotName) INSERT INTO #FinalCO_SN SELECT a.LotName,a.SourceLotName,a.SNCust,b.MaterialID,c.ComMaterials,b.MESOrderID,b.OnPlantID,c.VendorID,c.DateCode,c.SNNote FROM #FinalLotName a LEFT JOIN #WorkLotX5506 b ON a.LotName=b.SN LEFT JOIN #WorkSourceSNT16 c ON a.SourceLotName=c.SourceSN END END END /** * 3)条件判断结束 **/ IF EXISTS(SELECT 1 FROM #FinalLotName) BEGIN IF EXISTS(SELECT 1 FROM #FinalCO_SN) BEGIN--3.1 SELECT a.matl_def_id,b.Descript,a.MESOrderID AS pom_order_id,a.SN AS LotName,a.SourceSN AS ComLot, a.ComMaterials,c.Descript AS ComMatDes,a.VendorID,a.DateCode,a.SNNote, OnPlantID,SNCust FROM #FinalCO_SN a JOIN MMDefinitions b WITH(NOLOCK) ON a.matl_def_id=b.DefID JOIN MMDefinitions c WITH(NOLOCK) ON a.ComMaterials=c.DefID WHERE NOT EXISTS(select distinct SN, SourceSN from #FinalCO_SN x where x.SN = a.SourceSN and x.SourceSN = a.SN) END ELSE BEGIN--3.2 --3.2.1求解SN的必查字段 SELECT SN,MaterialID,MESOrderID,OnPlantID INTO #FinalSNX1 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE SNType='IntSN' AND SNRuleName = 'ProductSNRule' AND OnPlantID=@OnPlant AND EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SN=b.LotName) --3.2.2求解SourceSN的必查字段 SELECT a.SN AS SourceLotName,a.VendorID,a.DateCode,a.SNNote,a.MaterialID AS ComMaterials INTO #FinalSNX2 FROM CO_SN_GENERATION a WITH(NOLOCK) WHERE EXISTS(SELECT 1 FROM #FinalLotName b WHERE a.SN=b.SourceLotName) SELECT b.MaterialID AS matl_def_id,x.Descript,b.MESOrderID AS pom_order_id,b.SN AS LotName,c.SourceLotName AS ComLot,c.ComMaterials,y.Descript AS ComMatDes,c.VendorID,c.DateCode,c.SNNote,b.OnPlantID,a.SNCust FROM #FinalLotName a LEFT JOIN #FinalSNX1 b ON a.LotName=b.SN LEFT JOIN #FinalSNX2 c ON a.SourceLotName=c.SourceLotName JOIN MMDefinitions x WITH(NOLOCK) ON b.MaterialID=x.DefID JOIN MMDefinitions y WITH(NOLOCK) ON c.ComMaterials=y.DefID WHERE NOT EXISTS( SELECT DISTINCT * FROM #FinalLotName z WHERE z.LotName=a.SourceLotName and z.SourceLotName=a.LotName ) END END ELSE BEGIN IF EXISTS(SELECT 1 FROM #FinalCO_SN) BEGIN--3.3 SELECT a.matl_def_id,b.Descript,a.MESOrderID AS pom_order_id,a.SN AS LotName,a.SourceSN AS ComLot, a.ComMaterials,c.Descript AS ComMatDes,a.VendorID,a.DateCode,a.SNNote, OnPlantID,SNCust FROM #FinalCO_SN a JOIN MMDefinitions b WITH(NOLOCK) ON a.matl_def_id=b.DefID JOIN MMDefinitions c WITH(NOLOCK) ON a.ComMaterials=c.DefID WHERE NOT EXISTS(select distinct SN, SourceSN from #FinalCO_SN x where x.SN = a.SourceSN and x.SourceSN = a.SN) END ELSE BEGIN--3.4 PRINT 'There is no queryable condition,please enter at less a query conditon.' END END END GO |
虽然牺牲了代码的可读性，但创造了性能价值。本人水平有限，还请各位不吝赐教！ 最后，将SSRS报表替换成此存储过程后，SQL查询分析器是秒查的。B/S前端用时1~2秒！ 四、总结 平常的你是否偶尔会因急于完成任务而书写一堆性能极低的SQL语句呢？写出可靠性能的SQL语句不难，难的是习惯。 本文的优化思想很简单，关键点是避免全表扫描 & 注重SQL语句写法 & 索引，另外，如果你查询的表有可能会在查询时段更新，而实际业务需求允许脏读，可加with(nolock)预防查询被更新事物阻塞。 作者：hangwei 出处：http://www.cnblogs.com/hangwei/ 关于作者：专注于微软平台项目的架构设计与开发、数据库调优等工作。如有问题或建议，请多多赐教！ from:http://www.oschina.net/news/74787/how-the-data-on-the-second-search
View Details如今全球各地的无数企业组织在处理数据集，这些数据集是如此地庞大而复杂，以至于传统的数据处理应用软件再也无法支持经过优化的数据分析和洞察力获取。这是新一批大数据应用软件旨在解决的问题，而Apache软件基金会（ASF）最近将一批值得关注的开源大数据项目升级为Apache顶级项目。这意味着，这些项目将获得积极的开发和强有力的社区支持。 （图片来源：Creative Commons Zero） 大多数人已听说过Apache Spark，这种大数据处理框架拥有内置模块，可用于数据流、SQL、机器学习和图形处理。IBM及其他公司正在往Spark项目投入数十亿美元的开发资金，美国宇航局和SETI研究所在开展合作，利用Spark的机器学习能力，分析数TB的复杂的外太空无线信号，搜寻可能表明存在智能外星生命的模式。 然而，另外几个最近被提升为顶级项目的Apache大数据项目同样值得关注。实际上，其中一些打造的生态系统在活动和开发上可与Spark的生态系统相媲美。本文介绍了你应该知道的几个Apache大数据项目。 下面是六个迅速崛起的项目： Kylin Apache最近宣布，Kylin项目这个脱胎于eBay的开源大数据项目已被提升为顶级项目。Kylin是一个开源分布式分析引擎，旨在提供一种基于Apache Hadoop的SQL接口和多维分析（OLAP），支持极其庞大的数据集。它仍广泛用于eBay和另外几家组织。 Apache Kylin副总裁Luke Han说：“Apache Kylin的孵化之旅已证明了开源治理在Apache软件基金会（ASF）具有的价值，并证明了围绕该项目打造一个开源社区和生态系统的力量。我们的社区在与世界上最庞大的本地开发者社区积极互动，完全依照Apache之道。” 作为一种基于Hadoop的OLAP解决方案，Apache Kylin旨在填补大数据探索与人类使用之间的空白，“让分析员、最终用户、开发人员和数据爱好者能够对庞大数据集执行交互式分析，延迟低于1秒，”据开发人员声称。他们补充道：“Apache Kylin将商业智能（BI）带回給Apache Hadoop，发掘大数据的价值。” Lens Apache最近还宣布，Apache Lens这个开源大数据和分析工具由Apache孵化器提升为顶级项目（TLP）。据宣布声称：“Apache Lens是一种统一分析平台。它为统一视图的分析查询提供了一种最佳执行环境。Apache Lens旨在通过针对多个分层数据存储系统，提供单一的数据视图，从而消除数据分析孤岛。” “通过在数据基础上提供一种联机分析处理（OLAP）模型，Lens将Apach Hadoop和传统数据仓库无缝集成起来，好比是一个整体。它还为在系统中运行的查询提供了查询历史记录和分析统计功能，另外提供了查询生命周期管理。” Apache Lens的副总裁Amareshwari Sriramadasu 说：“在ASF孵化Apache Lens是个神奇的经历。Apache Lens着眼于最终用户，解决了大数据分析领域的一个非常关键的问题。它让业务用户、分析员、数据科学家、开发人员及其他用户能够轻松处理复杂的分析，不需要了解底层的数据布局。” Ignite Apache软件基金会还宣布Apache Ingite成为了一个顶级项目。这个开源项目旨在构建一种内存中数据架构（in-memory data fabric）。 据Apache社区的成员声称：“Apache Ignite是一种高性能、集成、分布式的内存中数据架构，针对大规模数据集可实现实时计算和处理，速度比基于磁盘或闪存的传统技术要快几个数量级。它旨在可以轻松支持成本合理、基于行业标准的硬件上的分布式大规模并行架构中的新旧应用程序。” Brooklyn Apache软件基金会宣布，Apache Brooklyn现在是个顶级项目（TLP），“这标志着该项目的社区和产品已在该基金会的精英管理流程和原则下得到了妥善治理。”Brooklyn是一种应用程序蓝图和管理平台，用于跨多个数据中心集成服务，并集成云端的众多软件。 据Brooklyn宣布声称：“由于现代应用程序由许多组件构成，微服务架构日前受到关注，部署应用程序和已部署应用程序的日常改进成了一个越来越难的问题。Apache Brooklyn的蓝图提供了一种清晰简洁的方式，可以在部署到公共云或私有基础设施之前，明确应用程序、组件、配置以及组件之间的关系。基于策略的管理建立在自主计算理论这个基础上，不断评估运行中的应用程序，并对它进行改动，让应用程序保持顺畅运行，并且针对成本和响应能力等度量指标进行优化。” Brooklyn现用于一些知名企业组织。云服务提供商Canopy和Virtustream已开发了基于Brooklyn的产品。IBM也广泛使用Apache Brooklyn，以便将大量的工作负载从AWS迁移到IBM Softlayer。 Apex 今年4月份，Apache软件基金会将Apex项目提升为顶级项目。它号称是“面向Apache Hadoop生态系统的一种大规模、高吞吐量、低延时、容错、统一的大数据数据流和批量处理平台。”Apex可与Apache Hadoop YARN协同运行，后者是一种适用于Hadoop集群的资源管理平台。 Tajo 最后，Apache Tajo是需要了解的另一个新的大数据项目，这是Apache Hadoop中一个先进的开源数据仓库系统。Apache声称，Tajo为Hadoop部署系统、第三方数据库和商用商业智能工具提供了快速获取更多信息的功能。 很显然，虽然Apache Spark吸引了大量眼球，但它不是Apache提供的唯一引人注目的大数据工具。今年，Apache可能会将更引人注目的大数据项目提升为顶级项目，这些项目将得益于经过优化的开发资源及更多优势。 原文标题：On the Rise: Six Unsung Apache Big Data Projects from:http://developer.51cto.com/art/201606/513276.htm
View Details在这个信息化时代，每分每秒都产生海量数据。在海量数据中，挖掘出有用的数据，并且能以较人性化、直观的方式展示这些数据，变得尤为重要。本文将介绍 7款顶级开源 BI（商务智能）软件和报表工具，用于商业数据的分析处理，希望对您有所帮助。 BIRT BIRT(Business Intelligence and Reporting Tools) 是由 IBM在 2004年开源的基于 Eclipse 的报表系统，它主要是用在基于Java与J2EE的Web应用程序上。BIRT主要由两部分组成：一个是基于Eclipse的报表设计和一个可以加到你应用服务的运行期组件。BIRT同时也提供一个图形报表制作引擎。 获取地址：http://www.eclipse.org/birt/ Seal Report Seal Report 是一款生产报表和开放数据库看板框架，采用微软.Net框架，C# 编写。主要有以下它特性： 支持动态SQL 查询数据。 支持本地数据透视表，随意的修改表元素， 数据透视表会立即按照新的布置重新计算数据 。 支持通过HTML 5快速生成网页图表。 可生成层级导航及层级报表。 支持定时任务，可编写批处理，定时执行一些数据加载、数据处理、备份等操作。 较低的TCO（总拥有成本）。 提供Web报表服务。 获取地址：https://github.com/ariacom/Seal-Report/archive/master.zip JasperReports JasperReports是一个采用Java开发的开源报表工具，它可以在Java环境下像其它IDE报表工具一样来制作报表。 JasperReports 支持PDF、HTML、XLS、CSV和XML文件输出格式。JasperReports是当前Java开发者最常用的报表工具。 获取地址：http://community.jaspersoft.com/download ReportServer ReportServer 是采用 Java 开发的 BI 平台，支持 Linux 、OS X、Windows三大平台，运行在 Apache Tomcat，Wildfly等应用服务器上，允许采用Excel、Word、多维OLAP展示报表信息。 获取地址：https://reportserver.net/en/download/ Pentaho Pentaho是一个以工作 流为核心的、强调面向解决方案而非工具组件的BI套件，整合了多个开源项目，目标是和商业BI相抗衡。它偏向于与业务流程相结合的BI解决方案，侧重于大 中型企业应用。它允许商业分析人员或开发人员创建报表，仪表盘，分析模型，商业规则和 BI 流程。 功能和特点 ◆ 工作流引擎：Shark and JaWE ◆ 数据库：Firebird RDBMS ◆ 集成管理和开发环境：Eclipse ◆ 报表工具：Eclipse BIRT ◆ ETL工具：Enhydra/Kettle ◆ OLAP Server：Mondrian ◆ OLAP展示：JPivot ◆ 数据挖掘组件：Weka ◆ 应用服务器和Portal服务器：JBoss ◆ 单点登陆服务及LDap认证：JOSSO ◆ […]
View Details如果你正在找Node.js的学习资料及指南，那么请继续（阅读），我们的教程将会覆盖即时聊天应用、API服务编写、投票问卷应用、人物投票APP、社交授权、 Node.js on Raspberry Pi等等。 以下是Node.js入门的简单介绍，如果你对Node.js略有了解可以直接跳过此部分。 那什么是Node.js呢？ Node.js是迄今运用最多的服务端JavaScript运行时环境，使用JavaScript开发跨平台的实时WEB应用。 Node.js基于Google的V8 JavaScript引擎。基于事件驱动，非阻塞的输入输出模型，这也使得其高效而轻量。 Node.js的强大之处在于其能力支持数据密级性的交互应用，因为这类应用的函数围绕着用户事件，数据I/O和数据流的处理。对于JSON的API，Node.js同样显得很神奇，它是单页WEB应用的心脏和灵魂。 Node.js的流行程度可以感觉得到，像eBay、target、City Group、Sony、Uber、LinkedIn、Medium、Netflix等等的大公司都有在他们的web项目中应用。 怎样学习Node.js呢？ Node.js的开发者来自全球，他们用Node.js开发复杂交互的，数据密集型的WEB Apps和网站。同时网上有着大量的资源和教程教你怎样构建自己的Node.js应用。 我们不防看看Node.js大神针对Web Apps写的Node.js最佳指南。 我们所覆盖的指南将包括针对初学者的Node.js、中级指南，同时还有教你怎样构建复杂的Node.js项目。 对于完全的Node.js初学者, 在深入挖掘本文章后续提到的学习项目之前，一步步按照airpair.com上面入门指南的要点 或Node.js入门指南 之类的文章学习是不错的选择。Nodeschool.io是另一个比较好的网站，上面有着非常多的资料，可以学习基本的node.js及相关的技术。 通过Express框架和Socket.io构建即时通讯APP 将一个新技术学到一定高度的最好方式就是通过功能性的应用了。在这个指南中，你将学习使用Express框架和Socket.io构建即时通讯应用，这些技术可以使用基于事件的双向通信。在这个指南中，你还将使用JavaScript模板引擎Jade。 我们要介绍的指南由Krasimir Tsonev所撰写，发布在tutsplus.com上面，从node.js的环境搭建，使用Express框架的后端服务，到最后使用Jade模板引擎的前端UI开发，覆盖了所有前端到后端的方方面面。 你可以在后面这个链接中找到这篇指南: 即时通讯(Node.js Tutorial – Real Time Chat) . 使用Swagger创建Restful API 这个精心设计的教程解释了如何使用Swagger来创建Rest API，并且包括了Rest API应该支持的所有操作（CRUD，创建，查询，更新，删除）。这个例子是由来自scotch.io的Samuela Zara提供的，它实现了管理电影集合的Rest API。 Swagger是一个非常强大的框架来描述REST APIs，它提供了交互式的API文档编辑，客户端sdk生成以及发现服务。通过使用Swagger，你所书写的API将更容易被大家所理解并且使用。 在这个教程中，Samuela一开始先教会大家如何安装node.js的Swagger模块，然后介绍了Swagger提供的模拟模式。通过这个模式，API开发者可以先集中精神进行API本身的设计，而不用写一行的代码。当这个API结构被设计完成之后，教程开始带领大家具体实现获取电影，增加/修改电影以及删除电影的操作。 你可以通过Restful API in Node.js using Swagger这个链接来访问该教程。 在 Node.js 中使用 Nodal 建立 API Services 在大多数模块和框架之上，你就不会需要再建立任何简陋的 JavaScript/Node.js 项目。为了多平台（移动端，web，IOT）产品开发，面向服务的架构是关键的，而本教程就将带你更进一步。 在本教程中，Keith Horwood 利用 Nodal 框架在 Node.js 中来创建 API services，并让这一切看起来极其简单。Nodal 是一个可扩展的，以意见为依据的全服务框架，它帮助数据中心加快在 Node.js 基础上的API创建。 在本教程中，你将会在开发 MVC （模型，控制器和视图）之前安装 node.js 环境，安装 Nodal 和 postgreSQL。 你可以在这里找到本教程： 在 Node.js 中使用 Nodal 建立 API Services. Node.js Apps – 使用通行证进行社交认证 社交认证几乎随处可见，因为我们绝大多数人在Facebook […]
View Details美国宇航局，即 NASA ，将 253 个软件项目开源目前托管在 Gitithub上(https://github.com/nasa)，NASA 希望可以通过开源收获更多项目改进的建议，同时NASA也希望用户可以给NASA提交项目，为此专门开通了官方的开源网站 Code NASA 。 Livingstone2 —— 人工智能(AI)软件系统 Livingstone2 是一个可重用的人工智能(AI)软件系统，旨在帮助飞船生命支持系统、化工厂或其他复杂系统在操作强劲以最小的人力监督，即使面对硬件故障或意外事件。 Livingstone2诊断飞船或其他系统的当前状态，并建议命令或修复操作，允许系统继续操作。 JavaGenes —— 遗传算法 JavaGenes 是一个用Java编写的相当通用的进化软件系统。它实现了几个版本的遗传算法，模拟生化和其他搜索技术。JavaGenes 已经用于分子进化，原子力场参数，数字电路，地球观测卫星计划等地方。 Shift —— 文件传输框架 在高端计算环境中，远程文件传输经常需要处理非常大的数据集，而计算资源则分布在不同的组织，需要将这些数据汇总在一起进行进一步分析。本地传输相同的数据在文件系统也经常由管理员来优化资源利用率当新的文件系统在线或存储成为现有文件系统之间的不平衡。 NASA ECHO —— 独立信息管理系统 NASA 在这个 ECHO 工具的研究上也花了很长时间，终于成功地开发出了 IIMS，早期被称之为独立信息管理系统。功能目标包括： · 提供良好的文档接口和协议，帮助开发者构建并嵌入用户界面工具和服务。 · 提供信息管理来支持库存、服务元数据和中间件。 · 提供数据请求路径和跟踪。 · 支持图形、关键字和 freetext 搜索。 BigView —— 大图像操作工具 BigView 允许在 Linux 桌面上对任意大小的图像进行平移和缩放操作。此外,它可以在实时的环境中工作，多台电脑合作将一个大的形象。使用这个软件，你可以探索——在相对温和的机器上火星轨道器照相机等图像马赛克(92160 x33280像素)。 CFD Utilities CFD Utility 软件库有将近 30 个 Fortran 90 和 77 的子程序组成，同时有将近 100 个基于这些库开发的应用程序。许多实用程序适用于多次拉丝结构化网格和流动的解决方案，但是很多其他可重用的模块在插值等类别，优化、正交、快速搜索和字符操作出现从空气动力学的几十年的软件开发部门和空间技术部门在NASA艾姆斯研究中心。 Trick —— 航天器仿真环境 Trick 仿真环境由美国约翰逊宇航中心研制。Trick 灵活的功能能让用户在航天器所有阶段建立应用程序，包括早期航天器设计与性能评价，飞行软件的开发与测试，飞行器的动态负责分析，以及循环测试中虚拟和硬件的分析。研发 Trick 的主要目的是为了提供一套普遍的仿真能力，使得特定领域的专家能够专注于他们所属领域具体模型的研究，而不是专注于具体仿真功能上，例如工作排序，输入文件处理或者数据记录。 Growler —— 分布式对象和事件架构 Growler 是一个基于 C++ 开发的分布式对象和事件架构。支持 C++ 的对象序列化作为远程方法调用、事件通道和 IDL 接口定义语言的一部分。 Mesh —— […]
View Details如下是运行微信支付测试代码时出错代码： Warning: curl_setopt() expects parameter 2 to be long, string given in D:\wwwroot\weixinpaytest\pay\WxPay.JsApiPay.php on line 99 Fatal error: Uncaught exception ‘WxPayException‘ with message ‘curl出错，错误码:60‘ in D:\wwwroot\weixinpaytest\lib\WxPay.Api.php:564 Stack trace: #0 D:\wwwroot\weixinpaytest\lib\WxPay.Api.php(62): WxPayApi::postXmlCurl(‘<xml><appid><![…‘, ‘https://api.mch…‘, false, 6) #1 D:\wwwroot\weixinpaytest\pay\jsapi.php(36): WxPayApi::unifiedOrder(Object(WxPayUnifiedOrder)) #2 {main} thrown in D:\wwwroot\weixinpaytest\lib\WxPay.Api.php on line 564 第一个问题，这个问题完全是微信团队的问题，给出的example就是错的： Warning: curl_setopt() expects parameter 2 to be long, string given in D:\wwwroot\weixinpaytest\pay\WxPay.JsApiPay.php on line 99 找到WxPay.JsApiPay.php文件的99行，curl_setopt($ch, CURLOP_TIMEOUT, 30); 微信团队example代码里少了一个“T”，正确代码应该是 curl_setopt($ch, CURLOPT_TIMEOUT, 30); 这样，这一个问题就解决了。 下面说第二个问题： Fatal error: Uncaught exception ‘WxPayException‘ with message ‘curl出错，错误码:60‘ in […]
View Details