一切福田，不離方寸，從心而覓，感無不通。

Category Archives: Backend

Docker镜像大小优化不完全指南(.NET)

以我们家庭好医.netcore项目做个示例，来看看怎么进一步优化Docker镜像的大小。 这里以先编译再做镜像的方法为示例，当然你也可以把编译部分也写进Dockerfile里。   0.先来看看编译后的项目文件大小：39.2MB     1.先看一下VS2019默认Dockerfile生成的镜像 先上Dockerfile

1
2
3
4
5
6
7
8
FROM mcr.microsoft.com/dotnet/aspnet:3.1 AS base
WORKDIR /app
EXPOSE 5000
 
FROM base AS final
WORKDIR /app
COPY . .
ENTRYPOINT ["dotnet", "JTHY.Web.dll"]

  看看生成的镜像大小：265MB   2.用大家常用的slim镜像试试 Dockerfile

1
2
3
4
5
6
7
8
FROM mcr.microsoft.com/dotnet/core/aspnet:3.1-buster-slim AS base
WORKDIR /app
EXPOSE 5000
 
FROM base AS final
WORKDIR /app
COPY /. /app
ENTRYPOINT ["dotnet", "JTHY.Web.dll"]

  镜像大小还是265MB，并没有变小。   3.用大家不常用的alpine镜像来优化 Dockerfile

1
2
3
4
5
6
7
8
ROM mcr.microsoft.com/dotnet/aspnet:3.1-alpine AS base
WORKDIR /app
EXPOSE 5000
 
FROM base AS final
WORKDIR /app
COPY /. /app
ENTRYPOINT ["dotnet", "JTHY.Web.dll"]

  再来看看镜像大小：146MB，是不是很神奇~

龙生   15 Aug 2021
View Details

Git撤销对远程仓库的push&commit提交

撤销push 1. 执行  git log查看日志，获取需要回退的版本号 2. 执行 git reset –-soft <版本号> ，如 git reset --soft 4f5e9a90edeadcc45d85f43bd861a837fa7ce4c7 ，重置至指定版本的提交，达到撤销提交的目的 然后执行 git log 查看 此时，已重置至指定版本的提交，log中已经没有了需要撤销的提交  git reset 命令分为两种： git reset –-soft 与 git reset –-hard ，区别是： 前者表示只是改变了HEAD的指向，本地代码不会变化，我们使用git status依然可以看到，同时也可以git commit提交。后者直接回改变本地源码，不仅仅指向变化了，代码也回到了那个版本时的代码。 3. 执行 git push origin 分支名 –-force ，强制提交当前版本号。 至此，撤销push提交完成。 撤销commit 1. 执行 git log 查看需要撤销的commit的前面一个提交版本的id； 2. 执行 git reset --hard commit_id ，该commit_id为需要撤销的commit的提交的前面一个提交的版本，即需要恢复到的提交的id，重置至指定版本的提交，达到撤销提交的目的 3. 执行 git log 查看，commit提交已撤销   from:https://www.cnblogs.com/chaoxiZ/p/9714085.html

龙生   13 Aug 2021
View Details

微服务规范

微服务规范 前后端分离 数据库避免大量联合查询 服务设计无状态化 服务拆分最多三层，两次调用： 底层：基础服务层 中间层:组合服务层 上层：对外接口层 提供微服务关系图 统一维护微服务相互调用接口 配置统一到apollo 建议设计独立适配微服务以便调用外部服务 接口实现需幂等 定时任务建议实现在统一的单独微服务中，调用其它微服务接口来实现业务。否则和其它微服务实例一起部署的任务须加锁控制，以避免多实例冲突； 持续集成单元测试、接口测试 容器化并自动构建镜像、kubernetes部署 技术选型： 网关：spring cloud gateway 注册中心: consul 调用： feign 负载均衡：ribbon 熔断限流降级：hystrix 监控：cat, hystrix+trubine 容器：docker+kubernetes 微服务实战 环境准备 玩转Docker 服务注册发现Consul起步 实战课程 微服务概览 大话微服务 Provider微服务实战 Consumer微服务实战 Spring Cloud Gateway实战 Spring Cloud Gateway之Filter实战 微服务之网关——spring cloud gateway简单实践 掌医开放平台gateway服务设计及使用手册 契约测试实战 微服务监控-CAT Sleuth+Zipkin调用链监控实战 Hystrix熔断限流降级&Turbine API监控实战 微服务横向热扩展和自定义负载均衡策略 spring cloud gateway聚合swagger K8S创建服务实践小记 Google Jib：Java容器镜像构建新工具 微服务feign调用失败排查问题思路 微服务demo 微服务demo gitlab仓库

龙生   08 Aug 2021
View Details

开发人员正从 Java 8 向 Java 11 转移

此前的 Java 社区报告曾指出，Java 8 仍是开发人员使用的主要版本，新版本并未“得宠”。但 Snyk 近期发布的  JVM Ecosystem Report 2021 则指出，开发人员已经逐渐从 Java 8 迁移到了 Java 11。 JVM Ecosystem Report 2021 展示了关于 JVM 生态系统状态的最大年度调查的结果。该调查在 2021 年 2 月和 3 月的六周时间里进行，收集了来自 2000 多名 Java 开发者的回复。 调查结果显示，有 44.1% 的受访者在生产中使用免费的 AdoptOpenJDK 发行版。但 Oracle 仍然是市场上的重要参与者，其 OpenJDK 构建占 28%，商业 Oracle JDK 占 23%。 40% 的调查参与者在生产中使用了一个以上的 Java 版本。升级到 8 版本以上的人也比预料的要多。目前，有 61.5% 的人在生产中使用 Java 11，近 12% 的人使用最新版本，即调查期间的 Java 15。 Snyk 方面在报告中指出，这表明开发人员确实将他们的 Java 版本升级到了 Java 8 以上的版本，有关大多数 Java 开发人员都乐于使用 Java 8 的现象似乎正在慢慢瓦解。不过值得注意的是，仍有一半的 Java 11 用户（目前使用最多的版本）在他们的生产堆栈中使用 Java 8。 从长远来看，虽然 JVM 语言的种类在过去几年中有所增长，但 Java 仍然是最受欢迎的语言。超过 90% 的开发者使用 Java；Kotlin 次之，为 17.7%。 而 JetBrains IntelliJ IDEA […]

龙生   08 Jul 2021
View Details

在WebApi 中使用AutoFac

参考文档 https://www.cnblogs.com/htsboke/p/10956807.html https://www.cnblogs.com/lenmom/p/8510572.html https://www.cnblogs.com/yaopengfei/p/9479268.html   在WebApi项目中使用AutoFac，结构如下： 首先在Api项目当中引用AutoFac包，如下图所示：   仓储类：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
public interface IUsersRepository
{
int GetUserIsExists(UsersEntity criteria);
 
}
 
 
public class UsersRepository : IUsersRepository
{
Logger log = LogManager.GetLogger("UsersRepository");
 
/// <summary>
/// 获取用户是否存在
/// </summary>
/// <param name="criteria"></param>
/// <returns></returns>
public int GetUserIsExists(UsersEntity criteria)
{
string sql = "。。。。";
try
{
  //查询sql代码，此处省略。。。。            
   }
catch (Exception ex)
{
log.Fatal(ex, "获取用户是否存在异常：{0}，SQL：{1}", ex.Message, sql);
return 0;
}
}
}

服务类：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
//接口  
public interface IUsersService
{
int GetUserIsExists(UsersEntity criteria);
 
}
 
//实现类
public class UsersService : IUsersService
{
private readonly IUsersRepository _usersrepository;    
public UsersService(IUsersRepository usersrepository)    //通过构造函数注入
{
_usersrepository = usersrepository;
}
 
/// <summary>
/// 获取用户是否存在
/// </summary>
/// <param name="criteria"></param>
/// <returns></returns>
public int GetUserIsExists(UsersEntity criteria)
{
return _usersrepository.GetUserIsExists(criteria);
}
}

在Api接口项目中创建一个AutoFac工具类：AutofacUtil.cs

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
public class AutofacUtil
{
private static IContainer _container;
 
public static void ConfigureContainer()
{
#region AutoFac IOC容器
 
var builder = new ContainerBuilder();
 
try
{
//builder.RegisterControllers(Assembly.GetCallingAssembly());  //注册mvc控制器  需要引用package Autofac.Mvc
 
//builder.RegisterApiControllers(Assembly.GetExecutingAssembly()).PropertiesAutowired();  //支持Api控制器属性注入
builder.RegisterApiControllers(Assembly.GetCallingAssembly());  //注册所有api控制器  构造函数注入  需要引用package Autofac.WebApi
 
//注册程序集
#region Service
var assemblysServices = Assembly.Load("WebApi.Service");
builder.RegisterAssemblyTypes(assemblysServices)
.AsImplementedInterfaces()
.InstancePerDependency();
#endregion
#region Repository
var assemblysRepository = Assembly.Load("WebApi.Repository");
builder.RegisterAssemblyTypes(assemblysRepository)
.AsImplementedInterfaces()
.InstancePerDependency();
#endregion
 
_container = builder.Build();   //创建依赖注入
 
 
//设置MVC依赖注入
//DependencyResolver.SetResolver(new AutofacDependencyResolver(_container));
 
//设置WebApi依赖注入
GlobalConfiguration.Configuration.DependencyResolver = new AutofacWebApiDependencyResolver(_container);
}
catch (Exception ex)
{
throw new Exception(ex.Message + "\n" + ex.InnerException);
}
#endregion
}
 
/// <summary>
/// 从Autofac容器获取对象
/// </summary>
/// <typeparam name="T"></typeparam>
/// <returns></returns>
public static T GetFromFac<T>()
{
return _container.Resolve<T>();
}
 
}

在 Global.asax.cs 全局中注册一下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
public class WebApiApplication : System.Web.HttpApplication
{
protected void Application_Start()
{
AreaRegistration.RegisterAllAreas();
GlobalConfiguration.Configure(WebApiConfig.Register);
FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);
RouteConfig.RegisterRoutes(RouteTable.Routes);
BundleConfig.RegisterBundles(BundleTable.Bundles);
 
//AutoFac 注册
AutofacUtil.ConfigureContainer();
 
}
}

最后在接口中使用：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
public class UsersController : ApiController
{
private readonly IUsersService _usersService;
public UsersController(IUsersService usersService)    //使用构造函数注入
{
_usersService = usersService;
}
 
 
/// <summary>
/// 获取用户是否存在
/// </summary>
/// <param name="username"></param>
/// <param name="password"></param>
/// <returns></returns>
[HttpPost]
public IHttpActionResult GetUserIsExists(string username, string password)
{
//验证是否存在当前用户
var obModel = new UsersEntity()
{
Username = username,
Password = Encryption.MD5(password)
};
var getresult = _usersService.GetUserIsExists(obModel);
 
return Json(new { isexists = getresult > 0 });
}
}

测试结果：   最后：如果出现 未将对象引用的实例 的错误，检查一下是否引用相应的dll程序集了。   from:https://www.cnblogs.com/peterzhang123/p/12808922.html

龙生   05 Jul 2021
View Details

C# WebRequest请求

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
using System;
using System.IO;
using System.Net;
using System.Text;
 
namespace w3cnet.Utils
{
    /// <summary>
    /// Web请求相关
    /// </summary>
    public class WebUtil
    {
        /// <summary>
        /// 获取公网url内容
        /// </summary>
        /// <param name="url"></param>
        /// <returns></returns>
        public static string GetPage(string url)
        {
            return RequestGet(url);
        }
 
        /// <summary>
        /// Post请求
        /// </summary>
        /// <returns></returns>
        public static string RequestGet(string url)
        {
            //请求
            var request = (HttpWebRequest)WebRequest.Create(url);
            request.Timeout = 3600000; //3600秒
 
            //接收
            var response = request.GetResponse();
            var responseStream = response.GetResponseStream();
            if (responseStream != null)
            {
                var reader = new StreamReader(responseStream);
                var result = reader.ReadToEnd();
                reader.Close();
                response.Close();
 
                return result;
            }
 
            return string.Empty;
        }
 
        /// <summary>
        /// Post请求
        /// </summary>
        /// <returns></returns>
        public static string RequestPost(string url, string data = null, Encoding encoding = null)
        {
            if (encoding == null) encoding = Encoding.UTF8;
 
            //请求
            var request = (HttpWebRequest)WebRequest.Create(url);
            request.Method = "POST";
            request.ContentType = "application/x-www-form-urlencoded";
 
            //参数
            if (!string.IsNullOrEmpty(data))
            {
                var byteArray = encoding.GetBytes(data);
 
                request.ContentLength = byteArray.Length;
 
                var requestStream = request.GetRequestStream();
                requestStream.Write(byteArray, 0, byteArray.Length);
                requestStream.Close();
            }
 
            //接收
            var response = request.GetResponse();
            var responseStream = response.GetResponseStream();
            if (responseStream != null)
            {
                var reader = new StreamReader(responseStream, encoding);
                var result = reader.ReadToEnd();
                reader.Close();
                response.Close();
 
                return result;
            }
 
            return string.Empty;
        }
    }
}

 

龙生   04 Jul 2021
View Details

ABP(3.x)切换为MySQL

在EntityFrameworkCore项目下移除包Microsoft.EntityFrameworkCore.SqlServer 在EntityFrameworkCore项目下添加包Pomelo.EntityFrameworkCore.MySql v3.2.4 修改xxxDbContextConfigurer中的 删除EntityFraweorkCore下面的迁移文件夹 EntityFraweorkCore和WebHost的appsettings.json

1
2
3
"ConnectionStrings": {
    "Default": "server=127.0.0.1;database=abp;uid=root;pwd=123456;charset=utf8mb4;"
},

  添加数据迁移VS菜单：Tools -> NuGet Package Manager -> Package Manager Console运行以下命令：

1
Add-Migration DbName

  Update-Database Remove-Migration   from:https://blog.csdn.net/qq_40353040/article/details/108770993

龙生   02 Jul 2021
View Details

java.security.egd

SecureRandom在java各种组件中使用广泛，可以可靠的产生随机数。但在大量产生随机数的场景下，性能会较低。这时可以使用"-Djava.security.egd=file:/dev/./urandom"加快随机数产生过程。 以产生uuid的时候使用nextBytes产生随机数为入口，xSecureRandom的代码逻辑。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
public static UUID randomUUID() {
 
SecureRandom ng =Holder.numberGenerator;
 
 
 
byte[] randomBytes = newbyte[16];
 
ng.nextBytes(randomBytes);
 
randomBytes[6] &= 0x0f; /* clear version */
 
randomBytes[6] |=0x40; /* set to version 4 */
 
randomBytes[8] &= 0x3f; /* clear variant */
 
randomBytes[8] |=0x80; /* set to IETF variant */
 
return newUUID(randomBytes);
 
}
 

使用了SecureRandom.next*的方法。 在使用SecureRandom产生下一个随机数的时候调用nextLong或者nextBytes，最终会调用SecureRandom的nextBytes。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
public long nextLong() {
 
// it's okay that the bottom wordremains signed.
 
return ((long)(next(32)) << 32)+ next(32);
 
}
 
 
 
final protected int next(int numBits) {
 
int numBytes = (numBits+7)/8;
 
byte b[] = new byte[numBytes];
 
int next = 0;
 
 
 
nextBytes(b);
 
for (int i = 0; i < numBytes; i++)
 
next = (next << 8)+ (b[i] & 0xFF);
 
return next >>> (numBytes*8 -numBits);
 
}
 

而nextBytes是一个同步的方法，在多线程使用时，可能会产生性能瓶颈。

1
2
3
4
5
synchronized public void nextBytes(byte[] bytes) {
 
secureRandomSpi.engineNextBytes(bytes);
 
}

  secureRandomSpi被初始化为sun.security.provider.SecureRandom secureRandomSpi是SecureRandom.NativePRNG的一个实例。 使用jvm参数-Djava.security.debug=all ，可以打印securityprovider列表，从中可以看出，SecureRandom.NativePRNG由sun.security.provider.NativePRNG提供服务。 Provider: Set SUN provider property[SecureRandom.NativePRNG/sun.security.provider.NativePRNG]   分析openjdk的源码，NativePRNG.engineNextBytes调用了NativePRNG.RandomIO.ensureBufferValid，而ensureBufferValid直接从urandom读取数据：

1
2
3
4
5
6
7
8
9
private void ensureBufferValid() throws IOException {
 
...
 
readFully(urandomIn, urandomBuffer);
 
...
 
}

  通过测试可以发现，hotspot需要使用配置项"-Djava.security.egd=file:/dev/./urandom"才能从urandom读取数据，这里openjdk做了优化，直接从urandom读取数据。 /dev/random在产生大量随机数的时候比/dev/urandom慢，所以，建议在大量使用随机数的时候，将随机数发生器指定为/dev/./urandom。   转自：https://blog.51cto.com/leo01/1795447   from:https://blog.csdn.net/wangooo/article/details/109139129

龙生   01 Jul 2021
View Details

禁用NGINX中的TLS 1.0

我有一个NGINX作为我们网站的反向代理,并且运作良好.对于需要ssl的网站,我遵循 raymii.org以确保尽可能强大的SSLLabs分数.其中一个站点需要符合PCI DSS,但基于最新的TrustWave扫描现在因为启用了TLS 1.0而失败.在nginx.conf中的http级别我有：

1
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;

  对于我有的特定服务器：

1
ssl_protocols TLSv1.1 TLSv1.2;

  我已经更改了密码,将事情从http级别移到了每个ssl站点服务器,但不管我运行的是什么：

1
openssl s_client -connect www.example.com:443 -tls1

  我获得了TLS 1.0的有效连接. SSLLabs将网站的nginx设置为A但是使用TLS 1.0,所以我相信其余的设置是正确的,它不会关闭TLS 1.0. 关于我可能缺少什么的想法？

1
2
3
4
5
6
7
openssl version -a
OpenSSL 1.0.1f 6 Jan 2014
built on: Thu Jun 11 15:28:12 UTC 2015
platform: debian-amd64
 
nginx -v
nginx version: nginx/1.8.0

  这里的问题是TLS协商的服务器名称指示部分是在协商连接本身之后完成的.并且在连接协商期间协商协议.如果将该虚拟主机配置为没有与其关联的其他虚拟主机的服务器上的IP地址,则可能无法为该虚拟主机强制执行TLS v1.0.因此,nginx将根据IP地址知道不允许TLS v 1.0.   from:http://www.voidcn.com/article/p-vufkevsw-btw.html

龙生   01 Jul 2021
View Details

如何用Docker打包Springboot的四种方式

一:最基本的Dockerfile构建Springboot项目 在pom同目录下新建Dockerfile

1
2
3
4
FROM openjdk:8-jdk-alpine
VOLUME /tmp
COPY target/*.jar app.jar
ENTRYPOINT ["java","-jar","/app.jar"]

  将Springboot使用Maven打包，在终端中传参进去，进行构建Images。

1
2
3
docker build --build-arg=target/*.jar -t demo1/app .
#构建完成后启动容器
docker run -p 8080:8080 demo1/app

  给Springboot启动时候传环境变量或者shell参数

1
2
3
4
5
FROM openjdk:8-jdk-alpine
VOLUME /tmp
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["sh", "-c", "java ${JAVA_OPTS} -jar /app.jar ${0} ${@}"]

  指定JVM参数和shell参数

1
docker run -p 9000:9000 -e "JAVA_OPTS=-Ddebug -Xmx128m" demo1/app --server.port=9000

  二：使用Idea可视化管理docker， 构建Springboot容器 这个在我另外一篇文章有讲到，都比较简单，有啥问题请留言。 三：使用Maven插件自动化构建Image https://github.com/spotify/dockerfile-maven ，能力强的可以直接去看README.md。 简单介绍一下这个插件做啥用的 通过pom配置docker构建Image过程，参数等 。 封装了自动化build，push，run等Maven命令 。 * 需要依赖Dockerfile，Dockerfile与pom.xml位于同一个目录下。 在pom.xml同目录下创建Dockerfile

1
2
3
4
FROM openjdk:8-jre
ENTRYPOINT ["/usr/bin/java", "-jar", "/usr/share/myservice/app.jar"]  
ARG JAR_FILE
ADD target/${JAR_FILE} /usr/share/myservice/app.jar

  在pom中添加

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
<plugin>
                <groupId>com.spotify</groupId>
                <artifactId>dockerfile-maven-plugin</artifactId>
                <version>1.4.13</version>
                <executions>
                    <execution>
                        <id>default</id>
                        <goals>
                            <goal>build</goal>
                            <goal>push</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <!--你需要配置的地方-->
 
                    <!--指定仓库名/镜像名-->
                    <repository>myrep/${project.artifactId}</repository>
                    <!--指定tag -->
                    <tag>${project.version}</tag>
                    <buildArgs>
                        <!--指定参数jar-->
                        <JAR_FILE>${project.build.finalName}.jar</JAR_FILE>
                    </buildArgs>
                </configuration>
            </plugin>

  最后在Idea Maven插件Plugins点击docker:build即可。或者输入命令

1
mvn com.spotify:dockerfile-maven-plugin:build

  四:使用Google的Maven插件进行容器管理(重头戏) Google开源项目Jib，对比上面那个插件Jib的Start数为7.8k，dockerfile-maven 为2.4k。 maven 插件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
<plugin>
                <groupId>com.google.cloud.tools</groupId>
                <artifactId>jib-maven-plugin</artifactId>
                <version>1.6.0</version>
                <configuration>
                    <!--配置基本镜像-->
                    <from>
                        <image>openjdk:8-jdk-alpine</image>
                    </from>
                    <!--配置最终推送的地址，仓库名，镜像名-->
                    <to>
                        <image>registry.hub.docker.com/maoduntt/test</image>
                    </to>
                </configuration>
 
 
                <!--绑定到maven lifecicle-->
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>build</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

  配置maven docker hub账户和密码,在maven settings.xml中添加

1
2
3
4
5
<server>
      <id>registry.hub.docker.com</id>
      <username>你的dockerhub用户名</username>
      <password>你的dockerhub密码</password>
    </server>

  在idea maven插件中点击或者maven命令 mvn compile jib:buildTar 可以看到推送远程成功，Jib不需要写Dockerfile只需要你在插件中定义构建类型，所以使用时请多参考github的文档。最后现在也有这种开源的容器云平台，可以去了解下。   from:https://zhuanlan.zhihu.com/p/89161347

龙生   01 Jul 2021
View Details
1 … 57 58 59 … 279

Copyright © 2025 Longsheng All rights reserved