Category Archives: Big Data

基于Docker安装Elasticsearch

1.Elasticsearch介绍

2.基于Docker安装Elasticsearch
2.1 创建网络
2.2 拉取镜像
2.3 创建挂载点目录
2.4 部署单点es，创建es容器
2.5 编写elasticsearch.yml
2.6 重启es容器
2.7 测试Elasticsearch是否安装成功

3.基于Docker安装Kibana
3.1 拉取镜像
3.2 创建挂载点目录
3.3 部署kibana，创建kibana容器
3.4 测试Kibana是否安装成功

4. 基于Docker安装IK分词器
4.1 进入Elasticsearch容器
4.2 在线安装IK分词器

win11安装hadoop3.3.2(当前最新版本）

前提Java已经安装 安装准备 下载链接：链接 解压 将hadoop 到自己想要解压的路径下(这我解压到D盘下） 修改配置文件 进入etc/hadoop/下修改 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml core-site.xml

  hdfs-site.xml

  mapred-site.xml

  yarn-site.xml

  修改 workers 为 localhost 修改hadoop-env.cmd set JAVA_HOME=D:\java\jdk\jdk11 替换lib目录下的文件 如果您双击 winutils.exe 文件闪退，不报错，就说明没有任何问题 配置hadoop环境变量 格式化hadoop 打开命令行窗口 输入：hadoop namenode -format 看到成功的单词即可 进入hadoop的sbin目录执行start-all.cmd 没有报错后进入hadoop下的bin目录执行 看到这三个进程即可 注意： 启动可能会报时间错误，需要复制share文件夹下的时间jar到下图bin目录下即可 访问web页面 hadoop3.2以上的版本 web访问端口从原来的 50070 改为了 9870 http://localhost:9870/ http://localhost:8088/ 至此hadoop3.2.2版本 已完成   from:https://blog.csdn.net/qq_45834006/article/details/123581374 参考：https://blog.csdn.net/m0_72839702/article/details/138090947

商城订单高并发下的数据安全

我们知道在多线程写入同一个文件的时候，会存现“线程安全”的问题（多个线程同时运行同一段代码，如果每次运行结果和单线程运行的结果是一样的，结果和预期相同，就是线程安全的）。如果是MySQL数据库，可以使用它自带的锁机制很好的解决问题，但是，在大规模并发的场景中，是不推荐使用MySQL的。秒杀和抢购的场景中，还有另外一个问题，就是“超发”，如果在这方面控制不慎，会产生发送过多的情况。我们也曾经听说过，某些电商搞抢购活动，买家成功拍下后，商家却不承认订单有效，拒绝发货。这里的问题，也许并不一定是商家奸诈，而是系统技术层面存在超发风险导致的。