All posts by 龙生
win11安装hadoop3.3.2(当前最新版本）
前提Java已经安装 安装准备 下载链接：链接 解压 将hadoop 到自己想要解压的路径下(这我解压到D盘下） 修改配置文件 进入etc/hadoop/下修改 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml core-site.xml
|
1 2 3 4 5 6 7 8 9 10 |
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/D:/hadoop-3.3.2/data/tmp</value> </property> </configuration> |
hdfs-site.xml
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
<configuration> <!--单机启动--> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/hadoop-3.3.2/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/hadoop-3.3.2/data/datanode</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> |
mapred-site.xml
|
1 2 3 4 5 6 |
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
yarn-site.xml
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <!-- nodemanager要求的内存最低为1024 nodemanager 要求的内存最低为1G，所以value至少是1024，否则无法启动nodemanager --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> </configuration> |
修改 workers 为 localhost 修改hadoop-env.cmd set JAVA_HOME=D:\java\jdk\jdk11 替换lib目录下的文件 如果您双击 winutils.exe 文件闪退，不报错，就说明没有任何问题 配置hadoop环境变量 格式化hadoop 打开命令行窗口 输入：hadoop namenode -format 看到成功的单词即可 进入hadoop的sbin目录执行start-all.cmd 没有报错后进入hadoop下的bin目录执行 看到这三个进程即可 注意： 启动可能会报时间错误，需要复制share文件夹下的时间jar到下图bin目录下即可 访问web页面 hadoop3.2以上的版本 web访问端口从原来的 50070 改为了 9870 http://localhost:9870/ http://localhost:8088/ 至此hadoop3.2.2版本 已完成 from:https://blog.csdn.net/qq_45834006/article/details/123581374 参考：https://blog.csdn.net/m0_72839702/article/details/138090947
View Details大数据分析实战：Hadoop生态圈全家桶入门教程
1. 什么是大数据？
2. 什么是Hadoop生态圈？
3. Hadoop生态圈的组成
4. 大数据分析实战案例
5. 如何学习Hadoop生态圈
6. 总结
MySQL 驱动中虚引用 GC 耗时优化与源码分析
java -jar app.jar -Dcom.mysql.cj.disableAbandonedConnectionCleanup=true
View DetailsHL7 ca.uhn.hl7v2.validation.ValidationException: Validation failed: Primitive value 'xxxxxxxxxxx' requires to be empty or a US phone number at PID-13
方案一
|
1 |
context.setValidationContext((ValidationContext) ValidationContextFactory.noValidation()); |
方案二
|
1 |
PipeParser pipeParser = PipeParser.getInstanceWithNoValidation(); |
View Details
Linux查看java进程
方法一
|
1 |
ps -ef|grep java |
方法二
|
1 2 3 |
jps -l （显示java进程的Id和软件名称 jps -lmv（显示java进程的Id和软件名称；显示启动main输入参数；虚拟机参数） |
top命令可查看所有进程（包括内存占用和PID） 使用PS命令查看大致信息:
|
1 |
# ps -aux | grep -v grep | grep 121668 |
from:https://www.cnblogs.com/sunql/p/15880160.html
View DetailsSpringBoot配置MyBatis的sql执行超时时间（mysql）
mybatis:
mapper-locations: classpath:mapper/*.xml
configuration:
default-statement-timeout: 180