如今全球各地的无数企业组织在处理数据集，这些数据集是如此地庞大而复杂，以至于传统的数据处理应用软件再也无法支持经过优化的数据分析和洞察力获取。这是新一批大数据应用软件旨在解决的问题，而Apache软件基金会（ASF）最近将一批值得关注的开源大数据项目升级为Apache顶级项目。这意味着，这些项目将获得积极的开发和强有力的社区支持。 （图片来源：Creative Commons Zero） 大多数人已听说过Apache Spark，这种大数据处理框架拥有内置模块，可用于数据流、SQL、机器学习和图形处理。IBM及其他公司正在往Spark项目投入数十亿美元的开发资金，美国宇航局和SETI研究所在开展合作，利用Spark的机器学习能力，分析数TB的复杂的外太空无线信号，搜寻可能表明存在智能外星生命的模式。 然而，另外几个最近被提升为顶级项目的Apache大数据项目同样值得关注。实际上，其中一些打造的生态系统在活动和开发上可与Spark的生态系统相媲美。本文介绍了你应该知道的几个Apache大数据项目。 下面是六个迅速崛起的项目： Kylin Apache最近宣布，Kylin项目这个脱胎于eBay的开源大数据项目已被提升为顶级项目。Kylin是一个开源分布式分析引擎，旨在提供一种基于Apache Hadoop的SQL接口和多维分析（OLAP），支持极其庞大的数据集。它仍广泛用于eBay和另外几家组织。 Apache Kylin副总裁Luke Han说：“Apache Kylin的孵化之旅已证明了开源治理在Apache软件基金会（ASF）具有的价值，并证明了围绕该项目打造一个开源社区和生态系统的力量。我们的社区在与世界上最庞大的本地开发者社区积极互动，完全依照Apache之道。” 作为一种基于Hadoop的OLAP解决方案，Apache Kylin旨在填补大数据探索与人类使用之间的空白，“让分析员、最终用户、开发人员和数据爱好者能够对庞大数据集执行交互式分析，延迟低于1秒，”据开发人员声称。他们补充道：“Apache Kylin将商业智能（BI）带回給Apache Hadoop，发掘大数据的价值。” Lens Apache最近还宣布，Apache Lens这个开源大数据和分析工具由Apache孵化器提升为顶级项目（TLP）。据宣布声称：“Apache Lens是一种统一分析平台。它为统一视图的分析查询提供了一种最佳执行环境。Apache Lens旨在通过针对多个分层数据存储系统，提供单一的数据视图，从而消除数据分析孤岛。” “通过在数据基础上提供一种联机分析处理（OLAP）模型，Lens将Apach Hadoop和传统数据仓库无缝集成起来，好比是一个整体。它还为在系统中运行的查询提供了查询历史记录和分析统计功能，另外提供了查询生命周期管理。” Apache Lens的副总裁Amareshwari Sriramadasu 说：“在ASF孵化Apache Lens是个神奇的经历。Apache Lens着眼于最终用户，解决了大数据分析领域的一个非常关键的问题。它让业务用户、分析员、数据科学家、开发人员及其他用户能够轻松处理复杂的分析，不需要了解底层的数据布局。” Ignite Apache软件基金会还宣布Apache Ingite成为了一个顶级项目。这个开源项目旨在构建一种内存中数据架构（in-memory data fabric）。 据Apache社区的成员声称：“Apache Ignite是一种高性能、集成、分布式的内存中数据架构，针对大规模数据集可实现实时计算和处理，速度比基于磁盘或闪存的传统技术要快几个数量级。它旨在可以轻松支持成本合理、基于行业标准的硬件上的分布式大规模并行架构中的新旧应用程序。” Brooklyn Apache软件基金会宣布，Apache Brooklyn现在是个顶级项目（TLP），“这标志着该项目的社区和产品已在该基金会的精英管理流程和原则下得到了妥善治理。”Brooklyn是一种应用程序蓝图和管理平台，用于跨多个数据中心集成服务，并集成云端的众多软件。 据Brooklyn宣布声称：“由于现代应用程序由许多组件构成，微服务架构日前受到关注，部署应用程序和已部署应用程序的日常改进成了一个越来越难的问题。Apache Brooklyn的蓝图提供了一种清晰简洁的方式，可以在部署到公共云或私有基础设施之前，明确应用程序、组件、配置以及组件之间的关系。基于策略的管理建立在自主计算理论这个基础上，不断评估运行中的应用程序，并对它进行改动，让应用程序保持顺畅运行，并且针对成本和响应能力等度量指标进行优化。” Brooklyn现用于一些知名企业组织。云服务提供商Canopy和Virtustream已开发了基于Brooklyn的产品。IBM也广泛使用Apache Brooklyn，以便将大量的工作负载从AWS迁移到IBM Softlayer。 Apex 今年4月份，Apache软件基金会将Apex项目提升为顶级项目。它号称是“面向Apache Hadoop生态系统的一种大规模、高吞吐量、低延时、容错、统一的大数据数据流和批量处理平台。”Apex可与Apache Hadoop YARN协同运行，后者是一种适用于Hadoop集群的资源管理平台。 Tajo 最后，Apache Tajo是需要了解的另一个新的大数据项目，这是Apache Hadoop中一个先进的开源数据仓库系统。Apache声称，Tajo为Hadoop部署系统、第三方数据库和商用商业智能工具提供了快速获取更多信息的功能。 很显然，虽然Apache Spark吸引了大量眼球，但它不是Apache提供的唯一引人注目的大数据工具。今年，Apache可能会将更引人注目的大数据项目提升为顶级项目，这些项目将得益于经过优化的开发资源及更多优势。 原文标题：On the Rise: Six Unsung Apache Big Data Projects from:http://developer.51cto.com/art/201606/513276.htm
View Details在这个信息化时代，每分每秒都产生海量数据。在海量数据中，挖掘出有用的数据，并且能以较人性化、直观的方式展示这些数据，变得尤为重要。本文将介绍 7款顶级开源 BI（商务智能）软件和报表工具，用于商业数据的分析处理，希望对您有所帮助。 BIRT BIRT(Business Intelligence and Reporting Tools) 是由 IBM在 2004年开源的基于 Eclipse 的报表系统，它主要是用在基于Java与J2EE的Web应用程序上。BIRT主要由两部分组成：一个是基于Eclipse的报表设计和一个可以加到你应用服务的运行期组件。BIRT同时也提供一个图形报表制作引擎。 获取地址：http://www.eclipse.org/birt/ Seal Report Seal Report 是一款生产报表和开放数据库看板框架，采用微软.Net框架，C# 编写。主要有以下它特性： 支持动态SQL 查询数据。 支持本地数据透视表，随意的修改表元素， 数据透视表会立即按照新的布置重新计算数据 。 支持通过HTML 5快速生成网页图表。 可生成层级导航及层级报表。 支持定时任务，可编写批处理，定时执行一些数据加载、数据处理、备份等操作。 较低的TCO（总拥有成本）。 提供Web报表服务。 获取地址：https://github.com/ariacom/Seal-Report/archive/master.zip JasperReports JasperReports是一个采用Java开发的开源报表工具，它可以在Java环境下像其它IDE报表工具一样来制作报表。 JasperReports 支持PDF、HTML、XLS、CSV和XML文件输出格式。JasperReports是当前Java开发者最常用的报表工具。 获取地址：http://community.jaspersoft.com/download ReportServer ReportServer 是采用 Java 开发的 BI 平台，支持 Linux 、OS X、Windows三大平台，运行在 Apache Tomcat，Wildfly等应用服务器上，允许采用Excel、Word、多维OLAP展示报表信息。 获取地址：https://reportserver.net/en/download/ Pentaho Pentaho是一个以工作 流为核心的、强调面向解决方案而非工具组件的BI套件，整合了多个开源项目，目标是和商业BI相抗衡。它偏向于与业务流程相结合的BI解决方案，侧重于大 中型企业应用。它允许商业分析人员或开发人员创建报表，仪表盘，分析模型，商业规则和 BI 流程。 功能和特点 ◆ 工作流引擎：Shark and JaWE ◆ 数据库：Firebird RDBMS ◆ 集成管理和开发环境：Eclipse ◆ 报表工具：Eclipse BIRT ◆ ETL工具：Enhydra/Kettle ◆ OLAP Server：Mondrian ◆ OLAP展示：JPivot ◆ 数据挖掘组件：Weka ◆ 应用服务器和Portal服务器：JBoss ◆ 单点登陆服务及LDap认证：JOSSO ◆ […]
View Details如果你正在找Node.js的学习资料及指南，那么请继续（阅读），我们的教程将会覆盖即时聊天应用、API服务编写、投票问卷应用、人物投票APP、社交授权、 Node.js on Raspberry Pi等等。 以下是Node.js入门的简单介绍，如果你对Node.js略有了解可以直接跳过此部分。 那什么是Node.js呢？ Node.js是迄今运用最多的服务端JavaScript运行时环境，使用JavaScript开发跨平台的实时WEB应用。 Node.js基于Google的V8 JavaScript引擎。基于事件驱动，非阻塞的输入输出模型，这也使得其高效而轻量。 Node.js的强大之处在于其能力支持数据密级性的交互应用，因为这类应用的函数围绕着用户事件，数据I/O和数据流的处理。对于JSON的API，Node.js同样显得很神奇，它是单页WEB应用的心脏和灵魂。 Node.js的流行程度可以感觉得到，像eBay、target、City Group、Sony、Uber、LinkedIn、Medium、Netflix等等的大公司都有在他们的web项目中应用。 怎样学习Node.js呢？ Node.js的开发者来自全球，他们用Node.js开发复杂交互的，数据密集型的WEB Apps和网站。同时网上有着大量的资源和教程教你怎样构建自己的Node.js应用。 我们不防看看Node.js大神针对Web Apps写的Node.js最佳指南。 我们所覆盖的指南将包括针对初学者的Node.js、中级指南，同时还有教你怎样构建复杂的Node.js项目。 对于完全的Node.js初学者, 在深入挖掘本文章后续提到的学习项目之前，一步步按照airpair.com上面入门指南的要点 或Node.js入门指南 之类的文章学习是不错的选择。Nodeschool.io是另一个比较好的网站，上面有着非常多的资料，可以学习基本的node.js及相关的技术。 通过Express框架和Socket.io构建即时通讯APP 将一个新技术学到一定高度的最好方式就是通过功能性的应用了。在这个指南中，你将学习使用Express框架和Socket.io构建即时通讯应用，这些技术可以使用基于事件的双向通信。在这个指南中，你还将使用JavaScript模板引擎Jade。 我们要介绍的指南由Krasimir Tsonev所撰写，发布在tutsplus.com上面，从node.js的环境搭建，使用Express框架的后端服务，到最后使用Jade模板引擎的前端UI开发，覆盖了所有前端到后端的方方面面。 你可以在后面这个链接中找到这篇指南: 即时通讯(Node.js Tutorial – Real Time Chat) . 使用Swagger创建Restful API 这个精心设计的教程解释了如何使用Swagger来创建Rest API，并且包括了Rest API应该支持的所有操作（CRUD，创建，查询，更新，删除）。这个例子是由来自scotch.io的Samuela Zara提供的，它实现了管理电影集合的Rest API。 Swagger是一个非常强大的框架来描述REST APIs，它提供了交互式的API文档编辑，客户端sdk生成以及发现服务。通过使用Swagger，你所书写的API将更容易被大家所理解并且使用。 在这个教程中，Samuela一开始先教会大家如何安装node.js的Swagger模块，然后介绍了Swagger提供的模拟模式。通过这个模式，API开发者可以先集中精神进行API本身的设计，而不用写一行的代码。当这个API结构被设计完成之后，教程开始带领大家具体实现获取电影，增加/修改电影以及删除电影的操作。 你可以通过Restful API in Node.js using Swagger这个链接来访问该教程。 在 Node.js 中使用 Nodal 建立 API Services 在大多数模块和框架之上，你就不会需要再建立任何简陋的 JavaScript/Node.js 项目。为了多平台（移动端，web，IOT）产品开发，面向服务的架构是关键的，而本教程就将带你更进一步。 在本教程中，Keith Horwood 利用 Nodal 框架在 Node.js 中来创建 API services，并让这一切看起来极其简单。Nodal 是一个可扩展的，以意见为依据的全服务框架，它帮助数据中心加快在 Node.js 基础上的API创建。 在本教程中，你将会在开发 MVC （模型，控制器和视图）之前安装 node.js 环境，安装 Nodal 和 postgreSQL。 你可以在这里找到本教程： 在 Node.js 中使用 Nodal 建立 API Services. Node.js Apps – 使用通行证进行社交认证 社交认证几乎随处可见，因为我们绝大多数人在Facebook […]
View Details