一切福田，不離方寸，從心而覓，感無不通。

Daily Archives: 2016年8月3日

SQLSERVER如何查看索引缺失

当大家发现数据库查询性能很慢的时候，大家都会想到加索引来优化数据库查询性能， 但是面对一个复杂的SQL语句，找到一个优化的索引组合对人脑来讲，真的不是一件很简单的事。 好在SQLSERVER提供了两种“自动”功能，给你建议，该怎么调整索引 第一种是使用DMV 第二种是使用DTA (database engine tuning advisor) 数据库引擎优化顾问 这篇文章主要讲第一种 从SQL2005以后，在SQLSERVER对任何一句语句做编译的时候，都会去评估一下， 这句话是不是缺少什么索引的支持，如果他认为是，他还会预估，如果有这麽一个索引 他的性能能提高多少   SQLSERVER有几个动态管理视图 sys.dm_db_missing_index_details sys.dm_db_missing_index_groups sys.dm_db_missing_index_group_stats sys.dm_db_missing_index_columns(index_handle)     sys.dm_db_missing_index_details 这个DMV记录了当前数据库下所有的missing index的信息,他针对的是SQLSERVER从启动以来所有运行的语句， 而不是针对某一个查询。DBA可以看看，哪些表格SQLSERVER对他是最有“意见”的 以下是这个DMV的各个字段的解释： 1、index_handle:标识特定的缺失索引。该标识符在服务器中是唯一的。index_handle 是此表的密钥 2、database_id :标识带有缺失索引的表所驻留的数据库 3、object_id :标识索引缺失的表 4、equality_columns:构成相等谓词的列的逗号分隔列表 即哪个字段缺失了索引会在这里列出来（简单来讲就是where 后面的筛选字段）， 谓词的形式如下：table.column =constant_value 5、inequality_columns :构成不等谓词的列的逗号分隔列表，例如以下形式的谓词：table.column > constant_value “=”之外的任何比较运算符都表示不相等。 6、included_columns:用于查询的涵盖列的逗号分隔列表（简单来讲就是 select 后面的字段）。 7、statement:索引缺失的表的名称 比如下面这个查询结果 那么应该创建这样的索引

1
1 CREATE INDEX idx_SalesOrderDetail_test_ProductID_IncludeIndex ON SalesOrderDetail_test(ProductID) INCLUDE(SalesOrderID)

在ProductID上创建索引，SalesOrderID作为包含性列的索引   注意事项: 由 sys.dm_db_missing_index_details 返回的信息会在查询优化器优化查询时更新，因而不是持久化的。 缺失索引信息只保留到重新启动 SQL Server 前。如果数据库管理员要在服务器回收后保留缺失索引信息， 则应定期制作缺失索引信息的备份副本     sys.dm_db_missing_index_columns(index_handle) 返回与缺少索引（不包括空间索引）的数据库表列有关的信息，sys.dm_db_missing_index_columns 是一个动态管理函数 字段解释 index_handle：唯一地标识缺失索引的整数。     sys.dm_db_missing_index_groups   返回有关特定缺失索引组中包含的缺失索引（不包括空间索引）的信息   sys.dm_db_missing_index_group_stats 返回缺失索引组的摘要信息，不包括空间索引 这个视图说白了就是预估有这麽一个索引，他的性能能提高多少 有一个字段比较重要: avg_user_impact: 实现此缺失索引组后，用户查询可能获得的平均百分比收益。该值表示如果实现此缺失索引组，则查询成本将按此百分比平均下降。 就是说，增加了这个缺失索引，性能可以提高的百分比   下面是MSDN给出的示例，缺失索引组句柄为 2

1
2
3
4
5
6
7
8
9
10
1 --查询提供缺失索引的数据库、架构和表的名称。它还提供应该用于索引键的列的名称
2 USE [AdventureWorks]
3 GO
4 SELECT migs.group_handle, mid.*
5 FROM sys.dm_db_missing_index_group_stats AS migs
6 INNER JOIN sys.dm_db_missing_index_groups AS mig
7     ON (migs.group_handle = mig.index_group_handle)
8 INNER JOIN sys.dm_db_missing_index_details AS mid
9     ON (mig.index_handle = mid.index_handle)
10 WHERE migs.group_handle = 2

  示例代码：

1
2
3
4
5
6
1 USE [AdventureWorks] --要查询索引缺失的数据库
2 GO
3 SELECT * FROM sys.[dm_db_missing_index_details]
4 SELECT * FROM sys.[dm_db_missing_index_groups]
5 SELECT * FROM sys.[dm_db_missing_index_group_stats]
6 SELECT * FROM sys.[dm_db_missing_index_columns](1) --1 ：1是根据dm_db_missing_index_details查出来的

[…]

龙生   03 Aug 2016
View Details

SQLSERVER排查CPU占用高的情况

今天中午，有朋友叫我帮他看一下数据库，操作系统是Windows2008R2 ,数据库是SQL2008R2 64位 64G内存，16核CPU 硬件配置还是比较高的，他说服务器运行的是金蝶K3软件，数据库实例里有多个数据库   现象 他说是这几天才出现的，而且在每天的某一个时间段才会出现CPU占用高的情况 内存占用不太高，只占用了30个G CPU占用100% 排查方向   一般排查都是用下面的脚本，一般会用到三个视图sys.sysprocesses ,dm_exec_sessions ,dm_exec_requests

1
2
3
4
5
USE master
GO
--如果要指定数据库就把注释去掉
SELECT * FROM sys.[sysprocesses] WHERE [spid]>50 --AND DB_NAME([dbid])='gposdb'
SELECT COUNT(*) FROM [sys].[dm_exec_sessions] WHERE [session_id]>50

看一下当前的数据库用户连接有多少 然后使用下面语句看一下各项指标是否正常，是否有阻塞，这个语句选取了前10个最耗CPU时间的会话

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
SELECT TOP 10
[session_id],
[request_id],
[start_time] AS '开始时间',
[status] AS '状态',
[command] AS '命令',
dest.[text] AS 'sql语句',
DB_NAME([database_id]) AS '数据库名',
[blocking_session_id] AS '正在阻塞其他会话的会话ID',
[wait_type] AS '等待资源类型',
[wait_time] AS '等待时间',
[wait_resource] AS '等待的资源',
[reads] AS '物理读次数',
[writes] AS '写次数',
[logical_reads] AS '逻辑读次数',
[row_count] AS '返回结果行数'
FROM sys.[dm_exec_requests] AS der
CROSS APPLY
sys.[dm_exec_sql_text](der.[sql_handle]) AS dest
WHERE [session_id]>50 AND DB_NAME(der.[database_id])='gposdb'  
ORDER BY [cpu_time] DESC

如果想看具体的SQL语句可以执行下面的SQL语句，记得在SSMS里选择以文本格式显示结果

1
2
3
4
5
6
7
8
--在SSMS里选择以文本格式显示结果
SELECT TOP 10
dest.[text] AS 'sql语句'
FROM sys.[dm_exec_requests] AS der
CROSS APPLY
sys.[dm_exec_sql_text](der.[sql_handle]) AS dest
WHERE [session_id]>50  
ORDER BY [cpu_time] DESC

模拟了一些耗CPU时间的动作   还有查看CPU数和user scheduler数和最大工作线程数，检查worker是否用完也可以排查CPU占用情况

1
2
3
4
--查看CPU数和user scheduler数目
SELECT cpu_count,scheduler_count FROM sys.dm_os_sys_info
--查看最大工作线程数
SELECT max_workers_count FROM sys.dm_os_sys_info

查看机器上的所有schedulers包括user 和system 通过下面语句可以看到worker是否用完，当达到最大线程数的时候就要检查blocking了 对照下面这个表 各种CPU和SQLSERVER版本组合自动配置的最大工作线程数 CPU数                 32位计算机                        64位计算机 <=4                     256                                   512 8                        288                                   576 16                       352                                   704 32                       480                                   960

1
2
3
4
5
6
7
8
SELECT
scheduler_address,
scheduler_id,
cpu_id,
status,
current_tasks_count,
current_workers_count,active_workers_count
FROM sys.dm_os_schedulers

  如果SQLSERVER存在要等待的资源，那么执行下面语句就会显示出会话中有多少个worker在等待 结合[sys].[dm_os_wait_stats]视图，如果当前SQLSERVER里面没有任何等待资源，那么下面的SQL语句不会显示任何结果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
SELECT TOP 10
[session_id],
[request_id],
[start_time] AS '开始时间',
[status] AS '状态',
[command] AS '命令',
dest.[text] AS 'sql语句',
DB_NAME([database_id]) AS '数据库名',
[blocking_session_id] AS '正在阻塞其他会话的会话ID',
der.[wait_type] AS '等待资源类型',
[wait_time] AS '等待时间',
[wait_resource] AS '等待的资源',
[dows].[waiting_tasks_count] AS '当前正在进行等待的任务数',
[reads] AS '物理读次数',
[writes] AS '写次数',
[logical_reads] AS '逻辑读次数',
[row_count] AS '返回结果行数'
FROM sys.[dm_exec_requests] AS der
INNER JOIN [sys].[dm_os_wait_stats] AS dows
ON der.[wait_type]=[dows].[wait_type]
CROSS APPLY
sys.[dm_exec_sql_text](der.[sql_handle]) AS dest
WHERE [session_id]&gt;50  
ORDER BY [cpu_time] DESC

比如我当前执行了查询SalesOrderDetail_test表100次，由于表数据非常多，所以SSMS需要把SQLSERVER执行的结果慢慢的取走， 造成了ASYNC_NETWORK_IO等待

1
2
3
4
USE [AdventureWorks]
GO
SELECT * FROM dbo.[SalesOrderDetail_test]
GO 100

  问题源头 经过排查和这几天的观察情况，确定是某些表缺失索引导致，现在在这些表上增加了索引，问题解决

1
2
3
4
5
6
select * from t_AccessControl        --权限控制表权限控制
select * from t_GroupAccess            --用户组权限表用户组权限
select * from t_GroupAccessType        --用户组权限类表用户组权限类
select * from t_ObjectAccess        --对象权限表对象权限
select * from t_ObjectAccessType    --对象权限类型表对象权限类型
select * from t_ObjectType            --对象类型表对象类型

查询CPU占用高的语句

1
2
3
4
5
6
7
8
9
10
11
SELECT TOP 10
    total_worker_time/execution_count AS avg_cpu_cost, plan_handle,
    execution_count,
    (SELECT SUBSTRING(text, statement_start_offset/2 + 1,
       (CASE WHEN statement_end_offset = -1
          THEN LEN(CONVERT(nvarchar(max), text)) * 2
          ELSE statement_end_offset
       END - statement_start_offset)/2)
    FROM sys.dm_exec_sql_text(sql_handle)) AS query_text
FROM sys.dm_exec_query_stats
ORDER BY [avg_cpu_cost] DESC

查询缺失索引

1
2
3
4
5
6
SELECT
    DatabaseName = DB_NAME(database_id)
    ,[Number Indexes Missing] = count(*)
FROM sys.dm_db_missing_index_details
GROUP BY DB_NAME(database_id)
ORDER BY 2 DESC;

1
2
3
4
5
6
7
8
9
10
11
12
13
SELECT  TOP 10
         [Total Cost]  = ROUND(avg_total_user_cost * avg_user_impact * (user_seeks + user_scans),0)
         , avg_user_impact
         , TableName = statement
         , [EqualityUsage] = equality_columns
         , [InequalityUsage] = inequality_columns
         , [Include Cloumns] = included_columns
FROM        sys.dm_db_missing_index_groups g
INNER JOIN    sys.dm_db_missing_index_group_stats s
        ON s.group_handle = g.index_group_handle
INNER JOIN    sys.dm_db_missing_index_details d
        ON d.index_handle = g.index_handle
ORDER BY [Total Cost] DESC;

定位问题后，新建非聚集索引

1
2
3
4
5
6
7
CREATE NONCLUSTERED INDEX IX_t_AccessControl_F4 ON dbo.t_AccessControl
(
     FObjectType
)include([FUserID], [FAccessType], [FAccessMask]) WITH( STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
GO
drop index IX_t_AccessControl_F4 on t_AccessControl

CPU占用恢复正常   总结 从多次历史经验来看，如果CPU负载持续很高，但内存和IO都还好的话，这种情况下，首先想到的一定是索引问题，十有八九错不了。 注意文章开头贴出的客户机器负载情况图

龙生   03 Aug 2016
View Details

Copyright © 2025 Longsheng All rights reserved