1.Elasticsearch介绍
2.基于Docker安装Elasticsearch
2.1 创建网络
2.2 拉取镜像
2.3 创建挂载点目录
2.4 部署单点es，创建es容器
2.5 编写elasticsearch.yml
2.6 重启es容器
2.7 测试Elasticsearch是否安装成功
3.基于Docker安装Kibana
3.1 拉取镜像
3.2 创建挂载点目录
3.3 部署kibana，创建kibana容器
3.4 测试Kibana是否安装成功
4. 基于Docker安装IK分词器
4.1 进入Elasticsearch容器
4.2 在线安装IK分词器
前提Java已经安装 安装准备 下载链接：链接 解压 将hadoop 到自己想要解压的路径下(这我解压到D盘下） 修改配置文件 进入etc/hadoop/下修改 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml core-site.xml
|
1 2 3 4 5 6 7 8 9 10 |
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/D:/hadoop-3.3.2/data/tmp</value> </property> </configuration> |
hdfs-site.xml
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
<configuration> <!--单机启动--> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/hadoop-3.3.2/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/hadoop-3.3.2/data/datanode</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> |
mapred-site.xml
|
1 2 3 4 5 6 |
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
yarn-site.xml
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <!-- nodemanager要求的内存最低为1024 nodemanager 要求的内存最低为1G，所以value至少是1024，否则无法启动nodemanager --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> </configuration> |
修改 workers 为 localhost 修改hadoop-env.cmd set JAVA_HOME=D:\java\jdk\jdk11 替换lib目录下的文件 如果您双击 winutils.exe 文件闪退，不报错，就说明没有任何问题 配置hadoop环境变量 格式化hadoop 打开命令行窗口 输入：hadoop namenode -format 看到成功的单词即可 进入hadoop的sbin目录执行start-all.cmd 没有报错后进入hadoop下的bin目录执行 看到这三个进程即可 注意： 启动可能会报时间错误，需要复制share文件夹下的时间jar到下图bin目录下即可 访问web页面 hadoop3.2以上的版本 web访问端口从原来的 50070 改为了 9870 http://localhost:9870/ http://localhost:8088/ 至此hadoop3.2.2版本 已完成 from:https://blog.csdn.net/qq_45834006/article/details/123581374 参考：https://blog.csdn.net/m0_72839702/article/details/138090947
View Details1. 什么是大数据？
2. 什么是Hadoop生态圈？
3. Hadoop生态圈的组成
4. 大数据分析实战案例
5. 如何学习Hadoop生态圈
6. 总结
java -jar app.jar -Dcom.mysql.cj.disableAbandonedConnectionCleanup=true
View Details方案一
|
1 |
context.setValidationContext((ValidationContext) ValidationContextFactory.noValidation()); |
方案二
|
1 |
PipeParser pipeParser = PipeParser.getInstanceWithNoValidation(); |
View Details
方法一
|
1 |
ps -ef|grep java |
方法二
|
1 2 3 |
jps -l （显示java进程的Id和软件名称 jps -lmv（显示java进程的Id和软件名称；显示启动main输入参数；虚拟机参数） |
top命令可查看所有进程（包括内存占用和PID） 使用PS命令查看大致信息:
|
1 |
# ps -aux | grep -v grep | grep 121668 |
from:https://www.cnblogs.com/sunql/p/15880160.html
View Detailsmybatis:
mapper-locations: classpath:mapper/*.xml
configuration:
default-statement-timeout: 180