个人观点：etcd的红火来源于kurbernetes用etcd做服务发现，而redis的兴起则来源于memcache缓存本身的局限性。 etcd是一种分布式存储，更强调的是各个节点之间的通信，同步，确保各个节点上数据和事务的一致性， 使得服务发现工作更稳定，本身单节点的写入能力并不强。 redis更像是内存型缓存，虽然也有cluster做主从同步和读写分离， 但节点间的一致性主要强调的是数据，并不在乎事务，因此读写能力很强，qps甚至可以达到10万+ 两者都是k-v存储，但redis支持更多的存储模式，包括KEY，STRING，HMAP，SET，SORTEDSET等等， 因此redis本身就可以完成一些比如排序的简单逻辑。而etcd则支持对key的版本记录和txn操作和client对key的watch，因此适合用做服务发现。 日常使用中，etcd主要还是做一些事务管理类的，基础架构服务用的比较多，容器类的服务部署是其主流。 而redis广泛地使用在缓存服务器方面，用作mysql的缓存，通常依据请求量，甚至会做成多级缓存，当然部分情况下也用做存储型redis做持续化存储。 from:https://www.cnblogs.com/nmap/p/9398346.html
View Detailsmysql 批量更新如果一条条去更新效率是相当的慢, 循环一条一条的更新记录,一条记录update一次，这样性能很差，也很容易造成阻塞。 mysql 批量更新共有以下四种办法 1、.replace into 批量更新
|
1 |
replace into test_tbl (id,dr) values (1,'2'),(2,'3'),...(x,'y'); |
2、insert into …on duplicate key update批量更新
|
1 |
insert into test_tbl (id,dr) values (1,'2'),(2,'3'),...(x,'y') on duplicate key update dr=values(dr); |
3.创建临时表，先更新临时表，然后从临时表中update
|
1 2 3 |
create temporary table tmp(id int(4) primary key,dr varchar(50)); insert into tmp values (0,'gone'), (1,'xx'),...(m,'yy'); update test_tbl, tmp set test_tbl.dr=tmp.dr where test_tbl.id=tmp.id; |
注意：这种方法需要用户有temporary 表的create 权限。 4、使用mysql 自带的语句构建批量更新 mysql 实现批量 可以用点小技巧来实现:
|
1 2 3 4 5 6 7 |
UPDATE tableName SET orderId = CASE id WHEN 1 THEN 3 WHEN 2 THEN 4 WHEN 3 THEN 5 END WHERE id IN (1,2,3) |
这句sql 的意思是，更新orderId 字段，如果id=1 则orderId 的值为3，如果id=2 则orderId 的值为4…… where部分不影响代码的执行，但是会提高sql执行的效率。确保sql语句仅执行需要修改的行数，这里只有3条数据进行更新，而where子句确保只有3行数据执行。 如果更新多个值的话，只需要稍加修改：
|
1 2 3 4 5 6 7 8 9 10 11 12 |
UPDATE categories SET orderId = CASE id WHEN 1 THEN 3 WHEN 2 THEN 4 WHEN 3 THEN 5 END, title = CASE id WHEN 1 THEN 'New Title 1' WHEN 2 THEN 'New Title 2' WHEN 3 THEN 'New Title 3' END WHERE id IN (1,2,3) |
到这里，已经完成一条mysql语句更新多条记录了。 php中用数组形式赋值批量更新的代码：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
$display_order = array( 1 => 4, 2 => 1, 3 => 2, 4 => 3, 5 => 9, 6 => 5, 7 => 8, 8 => 9 ); $ids = implode(',', array_keys($display_order)); $sql = "UPDATE categories SET display_order = CASE id "; foreach ($display_order as $id => $ordinal) { $sql .= sprintf("WHEN %d THEN %d ", $id, $ordinal); } $sql .= "END WHERE id IN ($ids)"; echo $sql; |
这个例子，有8条记录进行更新。代码也很容易理解，你学会了吗 更新 100000条数据的性能就测试结果来看，测试当时使用replace into性能较好。 replace into 和 insert into on duplicate key update的不同在于： replace into 操作本质是对重复的记录先delete 后insert，如果更新的字段不全会将缺失的字段置为缺省值，用这个要悠着点否则不小心清空大量数据可不是闹着玩的。 insert into 则是只update重复记录，不会改变其它字段。 from:https://www.cnblogs.com/mslagee/p/6509682.html
View Details(Yes it’s a long title, since people kept asking me to write about this and that too :) I do when it has a point.) While SQL databases are insanely useful tools, their monopoly in the last decades is coming to an end. And it’s just time: I can’t even count the things that were forced into relational databases, but never really fitted them. (That being said, relational databases will always be the best for the stuff that has relations.) But, the differences between NoSQL databases are much bigger […]
View DetailsMySQL 中常用的两种时间储存类型分别是datetime和 timestamp。如何在它们之间选择是建表时必要的考虑。下面就谈谈他们的区别和怎么选择。 1 区别 1.1 占用空间 类型 占据字节 表示形式 datetime 8 字节 yyyy-mm-dd hh:mm:ss timestamp 4 字节 yyyy-mm-dd hh:mm:ss 1.2 表示范围 类型 表示范围 datetime '1000-01-01 00:00:00.000000' to '9999-12-31 23:59:59.999999' timestamp '1970-01-01 00:00:01.000000' to '2038-01-19 03:14:07.999999' timestamp翻译为汉语即"时间戳"，它是当前时间到 Unix元年(1970 年 1 月 1 日 0 时 0 分 0 秒)的秒数。对于某些时间的计算，如果是以 datetime 的形式会比较困难，假如我是 1994-1-20 06:06:06 出生，现在的时间是 2016-10-1 20:04:50 ，那么要计算我活了多少秒钟用 datetime 还需要函数进行转换，但是 timestamp 直接相减就行。 1.3 时区 timestamp 只占 4 个字节，而且是以utc的格式储存， 它会自动检索当前时区并进行转换。 datetime以 8 个字节储存，不会进行时区的检索. 也就是说，对于timestamp来说，如果储存时的时区和检索时的时区不一样，那么拿出来的数据也不一样。对于datetime来说，存什么拿到的就是什么。 还有一个区别就是如果存进去的是NULL，timestamp会自动储存当前时间，而 datetime会储存 NULL。 2 测试 我们新建一个表 插入数据 查看数据，可以看到存进去的是NULL，timestamp会自动储存当前时间，而 datetime会储存NULL 把时区修改为东 9 区，再查看数据，会会发现 timestamp 比 datetime 多一小时 如果插入的是无效的呢？假如插入的是时间戳 结果是0000-00-00 00:00:00，根据官方的解释是插入的是无效的话会转为 0000-00-00 00:00:00，而时间戳并不是MySQL有效的时间格式。 那么什么形式的可以插入呢，下面列举三种
|
1 2 3 4 |
//下面都是 MySQL 允许的形式，MySQL 会自动处理 2016-10-01 20:48:59 2016#10#01 20/48/59 20161001204859 |
3 选择 如果在时间上要超过Linux时间的，或者服务器时区不一样的就建议选择 datetime。 如果是想要使用自动插入时间或者自动更新时间功能的，可以使用timestamp。 如果只是想表示年、日期、时间的还可以使用 year、 date、 time，它们分别占据 1、3、3 字节，而datetime就是它们的集合。 from:https://segmentfault.com/a/1190000017393602
View Details前言（废话） 昨天抽了点时间在网上搜列了一个开源项目，项目挺完整的，前后台分离还带有微信小程序，我Clone下代码，经过一番倒腾，嘿~还真就跑起来了。在这个过程中，体验了一把VUE项目工程细节，因为之前没有接触过这一块，所以还是花费了点时间，好在开源项目的QQ群里楼主帮忙看了一下，才得以顺利往后进行。后来也有很多网友向楼主提问，也抛出了一些问题，其中有个问题到引起了我的注意。 有个小伙伴执行SQL的时候报错了，以为项目中给的SQL脚本不全，但是在群里他并没有给出报错细节的截图，楼主后来也就提示了他一句MySQL版本需要在5.7以上，但是后面就没有更多消息了。 今天早上我还在上班路上，群里的小伙伴就私信我，说能否帮他看下数据库的问题。等我到了公司再回复他的时候，他告诉我说数据库问题已经解决了，我追问了一下细节，原来是开源项目中的数据库建表语句中包含JSON类型字段，导致了他批量执行SQL脚本不成功。其实这样的问题，在执行脚本的时候遇到错误是有日志的，详细看下日志应该明了。 我其实是没有注意到这个细节的，因为我前天安装的数据库就直接上了8.0，屏蔽了这个问题，但是，MySQL数据库现在支持JSON类型，挺新奇的，因为之前没有用过，并不熟悉，所以这一次，让我逮到个了解它的机会。 关于MySQL的JSON类型 JSON估计大家伙都熟悉了，我就不再介绍这方面内容。其实在MySQL数据库中，也直到5.7这个版本，才开始引入JSON数据类型，在此之前如果想在表中保存JSON格式类型的数据，则需要依靠varchar或者text之类的数据类型，如果在低于5.7版本的数据库中使用了JSON类型来建表，显然是不会成功的。 （截图为MySQL官网文档） 如何使用JSON类型 建表 在MySQL中创建具有JSON数据列的表，其实和数据类型没有太大区别，具体举例如下：
|
1 2 3 4 |
CREATE TABLE tab_base_info ( id BIGINT NOT NULL PRIMARY KEY auto_increment, content json ); |
新增数据 插入一条语句，注意看JSON数据列的内容：
|
1 2 3 4 5 |
INSERT INTO tab_base_info (content) VALUES ( '{"author": "Captain&D", "blog": "https://www.cnblogs.com/captainad"}' ); |
这里需要提醒的是： JSON列存储的数据要么是NULL，要么必须是JSON格式数据，否则会报错。 JSON数据类型是没有默认值的（声明时"DEFAULT NULL"）。 JSON数据类型意义 其实，没有JSON数据类型的支持，我们一样可以通过varchar类型或者text等类型来保存这一格式的数据，但是，为什么还要专门增加这一数据格式的支持呢？其中肯定有较varchar或者text来存储此类型更优越的地方。 保证了JSON数据类型的强校验，JSON数据列会自动校验存入此列的内容是否符合JSON格式，非正常格式则报错，而varchar类型和text等类型本身是不存在这种机制的。 MySQL同时提供了一组操作JSON类型数据的内置函数。 更优化的存储格式，存储在JSON列中的JSON数据会被转成内部特定的存储格式，允许快速读取。 可以基于JSON格式的特征支持修改特定的键值。（即不需要把整条内容拿出来放到程序中遍历然后寻找替换再塞回去，MySQL内置的函数允许你通过一条SQL语句就能搞定） MySQL关于JSON的内置函数 MySQL关于JSON数据格式的操作提供了很多高效率的内置函数，我们可以从MySQL官网上找到很详细的介绍和使用说明，下面贴一张JSON函数的指南： （截图为MySQL官方文档） 其实我们从JSON功能介绍的主页也可以看到，这些内置函数支持我们创建、查找、替换和返回值等相关的操作，像我们替换指定内容的操作就可以使用JSON_REPLACE()这个函数，不过最后实现通过纯SQL语句执行最终的内容替换，你还需要通过执行UPDATE语句，比如：
|
1 2 3 |
UPDATE tab_base_info SET content = json_replace(content, '$.author', "tom") WHERE id = 1; |
其中“$.***”表示找到JSON内容中匹配的修改字段。 更多关于这些内置函数的用法，大家都可以到官网（链接请查看本文参考资料）的文档上去查阅，写的十分详细而且还有举例。 参考资料： 1、https://zhuanlan.zhihu.com/p/31823258 2、https://dev.mysql.com/doc/refman/5.7/en/json-functions.html from:https://www.cnblogs.com/captainad/p/11176127.html
View DetailsDB-Engines 4 月份流行度排行已更新（基于 3 月份的整体数据变化）。 从总榜来看，前十数据库的排名和上个月保持一致。虽然排名没有变动，但单个数据库的分数却变化不少。稳居前三的 Oracle、MySQL 和 Microsoft SQL Server 分数出现了较大幅度的下跌，分别减少 46.82、34.14 和 7.33 分。其中 SQL Server 分数已经连续下跌了两个月。若与去年同期的数据相比，三者下跌的分数平均已达到 64 分。 后起之秀 PostgreSQL 和 MongoDB 依旧保持着稳步上升的趋势，分数与上个月相比有小幅度增加，与去年同期相比也平均增加了 40 分左右。 ▲ 前十数据库的分数变化走向 对于排名 20 之后的数据库，以年为维度，排名显著上升的数据库有 Snowflake 和 Clickhouse，Snowflake 由去年同时期的第 100 名上升到现在的第 29 名，后者也从第 71 名上升至第 50 名。两者都属于云数据仓库，Snowflake 的母公司去年上市后更是获得巴菲特青睐，股价飙升。相信这也是它排名上升的主要原因。 最后看看各类型数据库的排名情况。 关系数据库前 10 名 Key-Value 数据库前 10 名 文档数据库前 10 名 时序数据库前 10 名 图数据库前 10 名 DB-Engines 根据流行度对数据库管理系统进行排名，排名每月更新一次。排名的数据依据 5 个不同的指标： Google 以及 Bing 搜索引擎的关键字搜索数量 Google Trends 的搜索数量 Indeed 网站中的职位搜索量 LinkedIn 中提到关键字的个人资料数 Stackoverflow 上相关的问题和关注者数量 这份榜单分析旨在为数据库相关从业人员提供一个技术方向的参考，其中涉及到的排名情况并非基于产品的技术先进程度或市场占有率等因素。无论排名先后，选择适合与企业业务需求相比配的技术才是最重要的。 from:https://www.oschina.net/news/135658/db-engines-ranking-202104
View Details一般我们建站使用较多的还是固定开源CMS程序，且基本上也使用的是PHP+MYSQL程序，所以数据库上较多的还是使用的MYSQL数据库。但是前几天老左有遇到一个网友他使用的是PostgreSQL数据库，实际上这个数据库我们在使用虚拟主机的时候也是有见过的，但是确实用的不多。 如果我们需要备份PostgreSQL数据库的话，一般如果我们服务器WEB环境自带的管理小工具是可以直接导出备份的，但是如果是运维工程师自己编译的WEB系统，那我们就需要用到其他的单独命令备份，这里我们记录下如何通过PostgreSQL命令备份数据库。 第一、一键快速备份单数据库 su – postgres 这里我们登陆数据库。 pg_dump laozuo.org > laozuo.org.bak 通过命令一键将我们的数据库名换成我们需要备份的，然后备份。这里我们可以将备份的数据下载到本地。 psql laozuo < dbname.bak 如果我们需要恢复数据库可以用psql命令来恢复，是不是有点像我们MYSQL恢复数据一样。 第二、远程备份数据库 一般远程备份数据库我们个人使用的不多的，我们还是老老实实在当前服务器操作比较多见，但是这里的方法老左也记录一下。 pg_dump -h 1.1.1.1 -p 1234 dbname > dbname.bak 根据命令及端口进行备份，注意数据库名修改成我们自己的。 第三、设置定时自动备份 这个我们很多朋友都有用的，一般项目文件动的不多，一般都是数据库在增减。所以我们定期备份数据库即可，但是我们需要做到的是定时备份。 1、登录数据库 su – postgres 和上面一样，我们要登录数据库，然后设置定时任务。 2、创建备份目录 mkdir -p ~/dbbackups 我们需要创建一个备份目录。 3、创建定时任务 crontab -e 然后需要编辑文件。 0 0 * * 0 pg_dump -U postgres laozuo> ~/dbbackups/laozuo.org.bak 编辑完毕保存后，我们运营一次看看，是否备份进入文件夹。 这里我们在备份完毕PostgreSQL数据库之后，我们还是需要定期下载或者SCP推送到其他服务器。之前有个朋友确实会定时备份，但是他备份到的还是自己当前服务器。于是前几天发现服务器故障数据丢失，他悲剧了。所以我们还是需要备份到本地。 from:https://www.laozuo.org/16772.html
View Details<add name="Abp.Redis.Cache" connectionString="127.0.0.1:6379,password=123456"/> 参考：https://github.com/StackExchange/StackExchange.Redis/blob/master/Docs/Configuration.md from:https://www.cnblogs.com/lishidefengchen/p/10656327.html
View Details序言 这篇文章没有什么知识点，只是为了新伙伴少踩点坑 1. 问题重现 创建容器 2. 解读参数 -d: 后台运行容器，并返回容器ID； -i: 以交互模式运行容器，通常与 -t 同时使用； -p: 端口映射，格式为：主机(宿主)端口:容器端口 -t: 为容器重新分配一个伪输入终端，通常与 -i 同时使用； --ip: 为容器制定一个固定的ip --net: 指定网络模式 3. 进入容器查看redis.conf文件 发现是并没有redis.conf文件的，那么这个时候就是新手踩坑阶段了，因为没有系统的学习docker所以会花费很多时间 2. 解决问题 没有配置文件这件事呢！那是因为redis容器里边的配置文件是需要在创建容器时映射进来的 那么就需要删除我们之前创建好的容器，在删除前需要先停止容器后才可以删除 停止容器：docker container stop redis-test 删除容器：docker container rm redis-test 1. 开始重新创建redis容器 docker run -itd --name redis-slave -v /usr/local/redis/redis.conf:/etc/redis.conf -v /root/usr/local/redis/data:/data --net mynetwork -p 6381:6379 --ip 172.10.0.3 redis 参数解释： -v /usr/local/redis/redis.conf:/etc/redis.conf：映射配置文件 -v /root/usr/local/redis/data:/data：映射数据目录 那么这个时候就有redis配置文件了 搭建同意的挂载外部配置 上边是在我宿主机有redis的情况下的，那么下来说宿主机没有redis的情况 这里说的映射其实就是挂载外部配置和数据安装 1. 创建docker统一的外部配置文件 mkdir -p docker/redis/{conf,data} 2. 在conf目录创建redis.conf的配置文件 touch /docker/redis/conf/redis.conf 3. redis.conf文件的内容需要自行去下载，网上很多 4. 创建启动容器，加载配置文件并持久化数据 docker run -d --privileged=true -p 6379:6379 -v /docker/redis/conf/redis.conf:/etc/redis/redis.conf -v /docker/redis/data:/data --name redis-test redis redis-server […]
View Details1.搜索镜像
|
1 |
docker search redis |
2.拉取镜像
|
1 |
docker pull redis |
3.创建Redis容器并设置密码
|
1 2 |
docker run --name redis -d --restart=always --privileged=true -p 6379:6379 redis --requirepass 123456 #前边是宿主机端口 后面是docker使用的端口 |
4.备注 为现有的redis创建密码或修改密码的方法： 1.进入redis的容器 docker exec -it 容器ID bash 2.进入redis目录 /usr/local/bin 3.运行命令：redis-cli 4.查看现有的redis密码：config get requirepass 5.设置redis密码config set requirepass ****（****为你要设置的密码） 6.若出现(error) NOAUTH Authentication required.错误，则使用 auth 密码 来认证密码 from:https://www.cnblogs.com/zhangzimo/p/12753563.html
View Details