All posts by 龙生

springboot集成hadoop实战

springboot集成hadoop实现hdfs增删改查，以及MapReduce

Hive】Windows下安装Hive（包安装成功）（附：常见错误解答FAQ（Frequently Asked Questions））

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。
而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持Hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的工具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-Defined Function）、UDAF(User-Defined AggregateFunction)和UDTF（User-Defined Table-Generating Function），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。
Hive不适合用于联机(online)事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。

YUM命令常见报错以及解决办法

1）检查yum仓库是否配置正确，可以到CentOS 镜像下载阿里云repo配置文件。
2）如果报错中包含$releasever变量， 则执行rpm -qa | grep centos-release确认centos-release是否安装。未安装可以执行以下命令下载安装包进行安装。

CentOS7安装Docker(超详细)

Docker CE 支持 64 位版本 CentOS 7，并且要求内核版本不低于 3.10， CentOS 7 满足最低内核的要求，所以我们在CentOS 7安装Docker。

linux清除操作记录

vim /root/.bash_history
history -c
:history
:set history=0

Jquery Pagination分页插件使用

JqueryPagination是个简单轻量级的分页插件，使用起来很容易，只要初始化一个实例，并设置总数量、翻页回调函数、其它参数就可以实现无刷新分页功能了。

理解ASP.NET Core – 基于Cookie的身份认证(Authentication)

通常，身份认证（Authentication）和授权（Authorization）都会放在一起来讲。但是，由于这俩英文相似，且“认证授权”四个字经常连着用，导致一些刚接触这块知识的读者产生混淆，分不清认证和授权的区别，甚至认为这俩是同一个。所以，我想先给大家简单区分一下身份认证和授权。

Java8 Stream 之groupingBy 分组讲解

public void groupingByCity() {
Map> map = employees.stream().collect(Collectors.groupingBy(Employee::getCity));
map.forEach((k, v) -> {
System.out.println(k + " = " + v);
});
}

详解Nginx location 匹配规则

前缀匹配时，Nginx 不对 url 做编码，因此请求为 /static/20%/aa ，可以被规则 ^~ /static/ /aa 匹配到（注意是空格）

匹配成功后，url的 域名+port 替换为root指定的目录

nginx 正则匹配配置

^~ 　　标识符匹配后面跟-一个字符串。匹配字符串后将停止对后续的正则表达式进行匹配，如location ^~ /images/ , 在匹配了/images/这个字符串后就停止对后续的正则匹配
=　　　精准匹配，如location=/，只会匹配url为/的请求。

~　　　区分大小写的匹配。
~* 　　不区分大小写的匹配。
!~ 　　 对区分大小写的匹配取非。
!~* 　　 对不区分大小写的匹配取非。
/　　　 通用匹配，如果没有其它匹配,任何请求都会被匹配到