一切福田，不離方寸，從心而覓，感無不通。

Monthly Archives: June 2021

max_allowed_packet设置问题

最近在运行的项目出现了一个线上事故，有人反映商城的东西下不了单了，到后台看了一下，果然报了一个错 Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (1046 > 1024). You can change this value on the server by setting the max_allowed_packet' variable.; ]; Packet for query is too large (1046 > 1024). You can change this value on the server by setting the max_allowed_packet' variable.; nested exception is com.mysql.jdbc.PacketTooBigException: Packet for query is too large (1046 > 1024). You can change this value on the server by setting the max_allowed_packet' variable. 其实上面的报错信息就给出了解决方案了，原来mysql根据配置文件会限制server接受的数据包大小。如果一次插入数据库中的数据太大的话就会失败，官方也有这方面的介绍 官方介绍 用命令行查看show VARIABLES like '%max_allowed_packet%';果然max_allowed_packet太小了 解决方法 1、修改配置文件（推荐） 在mysql中的my.ini文件中（在programdata隐藏文件中），修改max_allowed_packet的值 比如：max_allowed_packet=128M 然后重启mysql就可以 2、命令行中设置 set global max_allowed_packet = […]

龙生   09 Jun 2021
View Details

带你入门consul

consul consul用于微服务下的服务治理，主要特点有：服务发现、服务配置、健康检查、键值存储、安全服务通信、多数据中心等。 什么叫服务治理发现？起初我们的服务比较单一，各服务之间通过接口就能访问。后面服务越来越复杂出现了分布式，为了不引起单点问题，必然是多服务部署，如果还用原来的方式直接连接，那么在某个服务挂掉或者修改了信息，就会导致连接失败。如果连接端能够不去关心具体的服务配置，他只要连接到那个服务，后续的工作由其它服务保证，包括负载均衡、健康检查等，保证总有可用的连接那就行了，consul就是做这个的，当然，它的功能远不止这些，这里只是以服务发现为例。 与它同类的东西，还有Eureka、zooKeeper、etcd等也能做这些事，说不上谁好谁坏，看场景挑合适的吧，不过Eureka现在已经闭源了，这个还是建议不要去用这个了。 consul下载 consule的安装超级简单，去官方下载地址Download ，找到自已对应系统的压缩包，解压后里面就一个文件consul, 将这个文件放到你的PATH中，就能直接用了。 验证下安装成功没有, 看到下面的提示就行了。

1
2
3
$ consul  version
Consul v1.7.2
Protocol 2 spoken by default, understands 2 to 3 (agent will automatically use protocol >2 when speaking to compatible agents)

  consul的CLI操作 consul提供了cli的命令操作，如启动代理、键值存储、注册／注销服务、加入集群等，这个consul提供的HTTP的API操作也是一样的，只是这里都是shell的操作。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
$ consul
Usage: consul [--version] [--help] <command> [<args>]
 
Available commands are:
    acl            Interact with Consul's ACLs
    agent          Runs a Consul agent
    catalog        Interact with the catalog
    config         Interact with Consul's Centralized Configurations
    connect        Interact with Consul Connect
    debug          Records a debugging archive for operators
    event          Fire a new event
    exec           Executes a command on Consul nodes
    force-leave    Forces a member of the cluster to enter the "left" state
    info           Provides debugging information for operators.
    intention      Interact with Connect service intentions
    join           Tell Consul agent to join cluster
    keygen         Generates a new encryption key
    keyring        Manages gossip layer encryption keys
    kv             Interact with the key-value store
    leave          Gracefully leaves the Consul cluster and shuts down
    lock           Execute a command holding a lock
    login          Login to Consul using an auth method
    logout         Destroy a Consul token created with login
    maint          Controls node or service maintenance mode
    members        Lists the members of a Consul cluster
    monitor        Stream logs from a Consul agent
    operator       Provides cluster-level tools for Consul operators
    reload         Triggers the agent to reload configuration files
    rtt            Estimates network round trip time between nodes
    services       Interact with services
    snapshot       Saves, restores and inspects snapshots of Consul server state
    tls            Builtin helpers for creating CAs and certificates
    validate       Validate config files/directories
    version        Prints the Consul version
    watch          Watch for changes in Consul

  Agent启动 consul是通过Agent来运行的，Agent又分为Server Agent和Client Agent两种类型，这两类型基本上是没区别的，Server Agent会将服务的消息存储起来，至少要启动一个Server Agent，为了防止单点，集群环境中推荐3-5个。 Client Agent主要用于注销服务、健康检查及转发Server Agent的查询等，它相当于一个代理，所以他必须在集群的每台主机上都要运行。 先看下Agent的常用配置

1
$ consul agent --help

  --server 定义运行server agent --data-dir 配置consul数据存储路径 --bootstrap-expect ：期望的server节点数目，consul一直等到指定sever数目的时候才会引导整个集群 --bind：该地址用来在集群内部的通讯，集群内的所有节点到地址都必须是可达的，默认是0.0.0.0 --node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名 --ui： web的管理ui,查看服务和节点 --config-dir：配置文件目录，所有以.json结尾的文件都会被加载，可以是服务或consul自身的配置 --client：提供HTTP、DNS、RPC等服务，默认是127.0.0.1,不对外提供服务，如果需要则改成0.0.0.0 我本地没有虚拟机，也没用Docker操作，所以，如果要同时启动Server和Client的话，我就用的改端口的方式，当然生产环境肯定就没有这个了，它都是一台机器启动一个Agent, 这里只是测试用的。 启动一个Server Agent

1
$ consul agent --server=true --ui=true --data-dir=/tmp/consul --node=server1 --dev

  上面的 --server表示以server方式，--ui 会开启一个web ui管理界面, --dev 表示开发者模式，不需要ACL验证。不然那个web ui的打不开会报没有权限。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
==> Starting Consul agent...
           Version: 'v1.7.2'
           Node ID: 'f6272369-098a-1412-ed86-6e2076c1e5e4'
         Node name: 'server1'
        Datacenter: 'dc1' (Segment: '<all>')
            Server: true (Bootstrap: false)
       Client Addr: [127.0.0.1] (HTTP: 8500, HTTPS: -1, gRPC: 8502, DNS: 8600)
      Cluster Addr: 127.0.0.1 (LAN: 8301, WAN: 8302)
           Encrypt: Gossip: false, TLS-Outgoing: false, TLS-Incoming: false, Auto-Encrypt-TLS: false
 
==> Log data will now stream in as it occurs:
 
    2020-04-01T14:28:52.579+0800 [DEBUG] agent.tlsutil: Update: version=1
    2020-04-01T14:28:52.580+0800 [DEBUG] agent.tlsutil: OutgoingRPCWrapper: version=1
    2020-04-01T14:28:52.580+0800 [INFO]  agent.server.raft: initial configuration: index=1 servers="[{Suffrage:Voter ID:f6272369-098a-1412-ed86-6e2076c1e5e4 Address:127.0.0.1:8300}]"
    2020-04-01T14:28:52.580+0800 [INFO]  agent.server.raft: entering follower state: follower="Node at 127.0.0.1:8300 [Follower]" leader=
    2020-04-01T14:28:52.581+0800 [INFO]  agent.server.serf.wan: serf: EventMemberJoin: server1.dc1 127.0.0.1
    2020-04-01T14:28:52.581+0800 [INFO]  agent.server.serf.lan: serf: EventMemberJoin: server1 127.0.0.1
    2020-04-01T14:28:52.581+0800 [INFO]  agent.server: Adding LAN server: server="server1 (Addr: tcp/127.0.0.1:8300) (DC: dc1)"
    2020-04-01T14:28:52.581+0800 [INFO]  agent.server: Handled event for server in area: event=member-join server=server1.dc1 area=wan
    2020-04-01T14:28:52.581+0800 [INFO]  agent: Started DNS server: address=127.0.0.1:8600 network=tcp
    2020-04-01T14:28:52.582+0800 [INFO]  agent: Started DNS server: address=127.0.0.1:8600 network=udp
    2020-04-01T14:28:52.582+0800 [INFO]  agent: Started HTTP server: address=127.0.0.1:8500 network=tcp
    2020-04-01T14:28:52.582+0800 [INFO]  agent: Started gRPC server: address=127.0.0.1:8502 network=tcp
    2020-04-01T14:28:52.582+0800 [INFO]  agent: started state syncer
==> Consul agent running!

  启动Client Agent

1
$ consul agent   --data-dir=/tmp/consul_client --join=127.0.0.1:8301 --serf-lan-port=8303 --serf-wan-port=8305  --dns-port=8601 --server-port=8304   --http-port=8503  --server=false   --config-dir=./consul.d  --enable-script-checks   --node=client1

  上面有一个--join表示加入到集群中，写server agent的地址就行。 config-dir的配置目录下面一个服务的配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
    "service":{
        "name":"web",
        "tags":[
            "local"
        ],
        "port":80,
        "check":{
            "name":"ping",
            "args":["/usr/bin/curl","-s", "http://localhost/"],
            "interval":"10s"
        }
    }
}

  上面的命令运行后，会启动一个名字为“web"的服务，并提供健康检查。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
==> Starting Consul agent...
           Version: 'v1.7.2'
           Node ID: 'e1c8f283-f5c4-27e7-c29c-64666df1c52b'
         Node name: 'client1'
        Datacenter: 'dc1' (Segment: '')
            Server: false (Bootstrap: false)
       Client Addr: [127.0.0.1] (HTTP: 8503, HTTPS: -1, gRPC: -1, DNS: 8601)
      Cluster Addr: 192.168.0.103 (LAN: 8303, WAN: 8305)
           Encrypt: Gossip: false, TLS-Outgoing: false, TLS-Incoming: false, Auto-Encrypt-TLS: false
 
==> Log data will now stream in as it occurs:
 
    2020-04-01T00:00:49.227+0800 [INFO]  agent.client.serf.lan: serf: EventMemberJoin: client1 192.168.0.103
    2020-04-01T00:00:49.231+0800 [INFO]  agent: Started DNS server: address=127.0.0.1:8601 network=udp
    2020-04-01T00:00:49.232+0800 [INFO]  agent: Started DNS server: address=127.0.0.1:8601 network=tcp
    2020-04-01T00:00:49.232+0800 [INFO]  agent: Started HTTP server: address=127.0.0.1:8503 network=tcp
==> Joining cluster...
    2020-04-01T00:00:49.232+0800 [INFO]  agent: (LAN) joining: lan_addresses=[127.0.0.1:8301]
    2020-04-01T00:00:49.233+0800 [WARN]  agent.client.memberlist.lan: memberlist: Refuting a dead message (from: client1)
    2020-04-01T00:00:49.233+0800 [INFO]  agent.client.serf.lan: serf: EventMemberJoin: server1 127.0.0.1
    2020-04-01T00:00:49.233+0800 [INFO]  agent.client: adding server: server="server1 (Addr: tcp/127.0.0.1:8300) (DC: dc1)"
    2020-04-01T00:00:49.233+0800 [INFO]  agent: (LAN) joined: number_of_nodes=1
    2020-04-01T00:00:49.233+0800 [INFO]  agent: Join completed. Initial agents synced with: agent_count=1
    2020-04-01T00:00:49.233+0800 [INFO]  agent: started state syncer
==> Consul agent running!
    2020-04-01T00:00:49.235+0800 [INFO]  agent: Synced node info
    2020-04-01T00:00:49.235+0800 [INFO]  agent: Synced service: service=web
    2020-04-01T00:00:53.316+0800 [INFO]  agent: Synced check: check=service:web

  查看下，启动的Agent

1
2
3
4
$ ./consul members
Node     Address         Status  Type    Build  Protocol  DC   Segment
server1  127.0.0.1:8301  alive   server  1.7.2  2         dc1  <all>
client1  127.0.0.1:8303  alive   client  1.7.2  2         dc1  <default>

  web管理界面 可以查看服务的定义和节点，访问[web管理界面](http://127.0.0.1:8500/ui) HTTP API consul除了提供DNS外，还提供Http的操作，如注册服务、查看节点、查看服务信息等，一般都是通过API来操作的。 如我上面定义的 "web"服务，通过下面的API查询，就能得到具体的IP地址和端口，这样就能直接连到那台服务了。 其它更详情API操作，可以自已去参照官方的文档 API

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
$ curl http://127.0.0.1:8500/v1/catalog/service/web
[
    {
        "ID": "e1c8f283-f5c4-27e7-c29c-64666df1c52b",
        "Node": "client1",
        "Address": "127.0.0.1",
        "Datacenter": "dc1",
        "TaggedAddresses": {
            "lan": "127.0.0.1",
            "lan_ipv4": "127.0.0.1",
            "wan": "127.0.0.1",
            "wan_ipv4": "127.0.0.1"
        },
        "NodeMeta": {
            "consul-network-segment": ""
        },
        "ServiceKind": "",
        "ServiceID": "web",
        "ServiceName": "web",
        "ServiceTags": [
            "local"
        ],
        "ServiceAddress": "",
        "ServiceWeights": {
            "Passing": 1,
            "Warning": 1
        },
        "ServiceMeta": {},
        "ServicePort": 80,
        "ServiceEnableTagOverride": false,
        "ServiceProxy": {
            "MeshGateway": {},
            "Expose": {}
        },
        "ServiceConnect": {},
        "CreateIndex": 15,
        "ModifyIndex": 15
    }
]

  from:https://zhuanlan.zhihu.com/p/122340918

龙生   08 Jun 2021
View Details

MySQL show processlist说明

show processlist和show full processlist processlist命令的输出结果显示了有哪些线程在运行，不仅可以查看当前所有的连接数，还可以查看当前的连接状态帮助识别出有问题的查询语句等。 如果是root帐号，能看到所有用户的当前连接。如果是其他普通帐号，则只能看到自己占用的连接。showprocesslist只能列出当前100条。如果想全部列出，可以使用SHOW FULL PROCESSLIST命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
mysql> show processlist;
+----+------+--------------------+------+---------+-------+-------+------------------+
| Id | User | Host               | db   | Command | Time  | State | Info             |
+----+------+--------------------+------+---------+-------+-------+------------------+
|  1 | root | localhost          | NULL | Sleep   |    12 |       | NULL             |
|  2 | root | 192.168.100.1:7437 | test | Sleep   |  8035 |       | NULL             |
|  3 | root | 192.168.100.1:7438 | NULL | Sleep   | 24348 |       | NULL             |
|  5 | root | 192.168.100.1:7443 | NULL | Sleep   | 24317 |       | NULL             |
|  7 | root | 192.168.100.1:7450 | test | Sleep   | 24272 |       | NULL             |
|  9 | root | 192.168.100.1:5152 | test | Query   |     0 | init  | show processlist |
+----+------+--------------------+------+---------+-------+-------+------------------+
6 rows in set
mysql> show full processlist;
+----+------+--------------------+------+---------+-------+-------+-----------------------+
| Id | User | Host               | db   | Command | Time  | State | Info                  |
+----+------+--------------------+------+---------+-------+-------+-----------------------+
|  1 | root | localhost          | NULL | Sleep   |    19 |       | NULL                  |
|  2 | root | 192.168.100.1:7437 | test | Sleep   |  8042 |       | NULL                  |
|  3 | root | 192.168.100.1:7438 | NULL | Sleep   | 24355 |       | NULL                  |
|  5 | root | 192.168.100.1:7443 | NULL | Sleep   | 24324 |       | NULL                  |
|  7 | root | 192.168.100.1:7450 | test | Sleep   | 24279 |       | NULL                  |
|  9 | root | 192.168.100.1:5152 | test | Query   |     0 | init  | show full processlist |
+----+------+--------------------+------+---------+-------+-------+-----------------------+
6 rows in set

  各个列的含义： ①.id列，用户登录mysql时，系统分配的"connection_id"，可以使用函数connection_id()查看 ②.user列，显示当前用户。如果不是root，这个命令就只显示用户权限范围的sql语句 ③.host列，显示这个语句是从哪个ip的哪个端口上发的，可以用来跟踪出现问题语句的用户 ④.db列，显示这个进程目前连接的是哪个数据库 ⑤.command列，显示当前连接的执行的命令，一般取值为休眠（sleep），查询（query），连接（connect）等 ⑥.time列，显示这个状态持续的时间，单位是秒 ⑦.state列，显示使用当前连接的sql语句的状态，很重要的列。state描述的是语句执行中的某一个状态。一个sql语句，以查询为例，可能需要经过copying to tmp table、sorting result、sending data等状态才可以完成 ⑧.info列，显示这个sql语句，是判断问题语句的一个重要依据 在主从复制环境中，show processlist或show full processlist对于判断状态很有帮助，例如下面的state列： from:https://www.cnblogs.com/flzs/p/11044689.html

龙生   08 Jun 2021
View Details

mysql select into的用法

MySQL不支持Select Into语句直接备份表结构和数据,一些种方法可以代替,如下:

1
2
3
4
#MYSQL不支持:
Select * Into new_table_name from old_table_name; 这是sql server中的用法
#替代方法:
Create table new_table_name (Select * from old_table_name);

  from:https://blog.csdn.net/zwldx/article/details/82227533

龙生   08 Jun 2021
View Details

git 如何取消add操作

可以直接使用命令    git reset HEAD 这个是整体回到上次一次操作 绿字变红字(撤销add) 如果是某个文件回滚到上一次操作：  git reset HEAD  文件名 红字变无 (撤销没add修改) git checkout — 文件   from:https://www.cnblogs.com/jpfss/p/11888157.html

龙生   07 Jun 2021
View Details

MySql时间戳函数

参考链接：https://www.cnblogs.com/jhy-ocean/p/5560857.html   MySql时间戳涉及的函数 date_format(date, format) 函数，MySQL日期格式化函数date_format() unix_timestamp() 函数 str_to_date(str, format) 函数 from_unixtime(unix_timestamp, format) 函数，MySQL时间戳格式化函数from_unixtime 时间转字符串

1
2
3
select date_format(now(), '%Y-%m-%d');  
  
#结果：2016-01-05

时间转时间戳

1
2
3
select unix_timestamp(now());  
  
#结果：1452001082

字符串转时间

1
2
3
select str_to_date('2016-01-02', '%Y-%m-%d %H');  
  
#结果：2016-01-02 00:00:00

字符串转时间戳

1
2
3
select unix_timestamp('2016-01-02');  
  
#结果：1451664000

时间戳转时间

1
2
3
select from_unixtime(1451997924);  
  
#结果：2016-01-05 20:45:24

时间戳转字符串

1
2
3
select from_unixtime(1451997924,'%Y-%d');  
  
结果：2016-01-05 20:45:24

附表 MySQL日期格式化（format）取值范围。   值 含义 秒 %S、%s 两位数字形式的秒（ 00,01, …, 59） 分 %I、%i 两位数字形式的分（ 00,01, …, 59） 小时 %H 24小时制，两位数形式小时（00,01, …,23） %h 12小时制，两位数形式小时（00,01, …,12） %k 24小时制，数形式小时（0,1, …,23） %l 12小时制，数形式小时（0,1, …,12） %T 24小时制，时间形式（HH:mm:ss） %r  12小时制，时间形式（hh:mm:ss AM 或 PM） %p AM上午或PM下午   周  %W 一周中每一天的名称（Sunday,Monday, …,Saturday）  %a 一周中每一天名称的缩写（Sun,Mon, …,Sat） %w 以数字形式标识周（0=Sunday,1=Monday, …,6=Saturday） %U 数字表示周数，星期天为周中第一天 %u 数字表示周数，星期一为周中第一天 天 %d 两位数字表示月中天数（01,02, …,31） %e  数字表示月中天数（1,2, …,31）  %D 英文后缀表示月中天数（1st,2nd,3rd […]

龙生   04 Jun 2021
View Details
1 2 3

Copyright © 2024 Longsheng All rights reserved.