使用Windbg+sos+sosex从内存转储详细分析对象引用,排查.NET服务应用内存暴增
作者:V君 发布于:2018-8-22 12:37 Wednesday 分类:填坑经验
TL;DR
1) 准备:先载入转储
如果缺少dll, 去 https://sos.debugging.wellisolutions.de/ 找
下来放windbg旁边,然后重新载入.
2) 初始化:载入sos和sosex [.loadby sos mscorwks],[.load sosex],首次要执行[!bhi]
3) 对象统计:用sos的[!dumpheap -stat]或者sosex的[!sosex.mfrag -stat]获取结果
4) 枚举对象:用sos的[!dumpheap -type <上结果类名>]就能刷出
sosex的[mfrag -mt:类名]如果能用就可以直接点击链接, 这次不知道为啥不工作.
5) 查找引用:用sosex的[!refs <上结果地址>]
顺着地址链接一路跟踪就能定位内存占用的代码位置.
必须扯:
标签: 软件开发 C# 调试技术 windbg 软件故障诊断 sosex
排查ASP.NET响应迟钝.用DebugDiag分析转储,再用WinDbg+sosex查看调用参数
作者:V君 发布于:2017-6-9 17:01 Friday 分类:填坑经验
WEB应用程序出现响应很慢甚至卡死的现象,
Server Admin 通过 DebugDiag 分析转储发现有个请求特别耗时间 (一个小时以上)
于是锅放到我这里辣.
DebugDiag得出堆栈已经显示具体代码位置了,
想知道哪些数据被操作,还需要知道传入了哪些参数,这时候必须请出WinDbg+sosex了.
参考其 sosex 的 readme.txt 或 MSDN文章 得知 !mk 命令可以查看当前线程调用堆栈
要切换当前线程 使用 ~*s 命令 (更多命令参见 windbg.info文章 )
搞起! 先 .load sosex 再 ~*s 然后 !mk 这样就可以看到刚才的堆栈了,确保没选错线程
然而参数还没出来... 别急,呔! !mdso 列出当前线程堆栈上下文对象值
这个命令支持使用参数 /t:类名 来筛选结果. 这次排查过程顺利得有些出乎意料哇 乂目.
使用Debug Diagnostic Tool分析.net转储
作者:V君 发布于:2016-10-25 11:26 Tuesday 分类:填坑经验
TL;DR:
去M¥官网下载该工具, 对应其x86/x64. 安装时选择关联文件类型.
装好之后双击要分析的dmp文件. 等一会儿. 一个可视化的mht分析报表就出来了.
注意这工具只能在Vista(NT6)以上环境运行.
转储dmp文件可以用Sysinternals出品的免费系统工具Process Explorer来做.
听我扯扯:
虽然WinDbg+sos/sosex很强大, 但是用起来很复杂, 载入符号也很慢.
于是找到了这货来帮忙, 尽管和前者比起来就差不能在内存中找对象.
但是非常方便收集异常信息以及线程堆栈.
[更新]使用WinDbg分析转储文件 找出C#程序内存占用过大的原因
作者:V君 发布于:2015-9-15 14:37 Tuesday 分类:填坑经验
TL;DR:
1)打开windbg载入dmp
2).loadby sos mscorwks
3)!dumpheap -stat
你写的程序你估计就知道为啥了
扯扯:
这次不是进程崩溃, 是另一个服务进程内存占用异常的大 , 超过4GB
原因诊断十分顺利, 然并卵,
因为某个环节需要调用第三方服务接口来解析数据,
这个接口似乎承受不住请求密度, 出现严重延迟现象
进程内部队列一直堆积着, 内存就撑大了 _(:з」∠)_
参考来源 调试内存泄漏问题的一些经验 by Dawei XU
参考来源 debugging.io
继续补充:
当不是你写的程序, 然而你又看到大量String而不知所措时
先用!strings命令来刷刷内存中的字符串, 适当的时候按暂停, 不然会卡死你
然后总结一下内容,看看有没有大片有规律的字符串
使用 !gcroot 每行前面的地址查看是什么地方引用了它 (参考来源: theartofdev.com)
再进一步: !mdt 出来的根对象地址, 如果是List<T> 还可以查看内容哟
顺着items进去,点击 expand first 40 items, 嗯嗯 这下真相大白啦
(我不会说之前的人真是丧心病狂, 60多万行1G以上内容,
居然直接查询出来放到内存里面去挨个处理) ‘皿’
使用Windbg分析转储来定位高CPU占用的C#代码
作者:V君 发布于:2015-8-6 14:51 Thursday 分类:填坑经验
今天运维告诉我服务器上出现使用大量 CPU 的进程.
要想定位/调优必须知道这些 CPU 处理量都用去做啥然后才能动刀子.
生产环境不能附加调试, 只能绕点弯路.
服务器是Win2003 x64
当时马上就想起 Procexp 能查看线程的 CPU 使用量, 运气好还能看到本地映像的调用堆栈.
不过这次运气并不太好, 调用堆栈只能看到 kernel32.dll , 之后啥都,看不到..
于是找找看有没有专门的 .net dump / 堆栈查看工具.
找到了Managed Stack Explorer/CLR Stack Explorer
前者只能查看32位进程, 放到服务器上运行啥也刷不出
后者在工作机上能刷出所有进程,还能标出是不是64位, 然而在服务器上也是啥都刷不出...
算了还是请出高大上的 WinDbg 吧. 让运维用 Procexp 做了个 mini Dump.
在用 WinDbg 打开 dmp 文件, 载入 sosex , 呃, 提示需要完整内存转储.
好吧于是做了个了个完整内存转储 -- 1G大的dmp文件..
输入 ~ 回车, 对应 Procexp 线程列表占用 CPU 高的 TID 对应这边十六进制ID
然后 ~*e!mk 回车 列出所有线程堆栈, 然后, Bingo!
完整的堆栈信息弄到了, 足足61个堆栈帧, 详细的列出函数名称, 部分还提示了源代码行号.
这样就能够精确定位占用CPU高的功能代码块了! 乂目
Tips.
符号路径格式以及地址: srv*C:\SymbolCache*http://msdl.microsoft.com/download/symbols
加载sosex: >.load sosex
blogger
Google Web Translator
热门日志
随机日志
最新日志
最新评论
- V君
@Quartz:(出现)... - Quartz
怎么不见人了呢... - V君
@Soar:DHCP 协议相... - V君
@Soar:当然是非... - Soar
@V君:谢谢 有空... - Soar
搞一个 1230v3+B85... - V君
@Soar:另外,也可... - V君
@Soar:iscsi服务端... - Soar
难怪这么卡,尤其... - Soar
clone了源码,提示...
分类
存档
- 2024年5月(1)
- 2023年7月(1)
- 2023年5月(1)
- 2022年11月(1)
- 2022年10月(1)
- 2022年9月(1)
- 2022年8月(1)
- 2022年7月(1)
- 2022年6月(1)
- 2022年5月(2)
- 2022年4月(1)
- 2022年3月(1)
- 2022年2月(1)
- 2022年1月(1)
- 2021年12月(1)
- 2021年11月(1)
- 2021年10月(1)
- 2021年9月(1)
- 2021年8月(1)
- 2021年7月(1)
- 2021年6月(1)
- 2021年5月(1)
- 2021年4月(1)
- 2021年3月(1)
- 2021年2月(1)
- 2021年1月(1)
- 2020年12月(1)
- 2020年11月(1)
- 2020年10月(2)
- 2020年9月(1)
- 2020年8月(1)
- 2020年7月(1)
- 2020年6月(1)
- 2020年5月(1)
- 2020年4月(2)
- 2020年3月(3)
- 2020年2月(1)
- 2020年1月(1)
- 2019年12月(1)
- 2019年11月(1)
- 2019年10月(1)
- 2019年9月(1)
- 2019年8月(2)
- 2019年7月(1)
- 2019年6月(1)
- 2019年5月(1)
- 2019年4月(1)
- 2019年3月(1)
- 2019年2月(1)
- 2019年1月(2)
- 2018年12月(2)
- 2018年11月(1)
- 2018年10月(3)
- 2018年9月(4)
- 2018年8月(6)
- 2018年7月(4)
- 2018年6月(1)
- 2018年5月(2)
- 2018年4月(2)
- 2018年3月(3)
- 2018年2月(1)
- 2018年1月(1)
- 2017年12月(1)
- 2017年10月(2)
- 2017年9月(1)
- 2017年8月(2)
- 2017年7月(1)
- 2017年6月(5)
- 2017年5月(2)
- 2017年4月(2)
- 2017年3月(3)
- 2017年2月(2)
- 2017年1月(2)
- 2016年12月(3)
- 2016年11月(2)
- 2016年10月(3)
- 2016年9月(4)
- 2016年8月(2)
- 2016年7月(4)
- 2016年6月(3)
- 2016年5月(1)
- 2016年4月(4)
- 2016年3月(3)
- 2016年2月(1)
- 2016年1月(5)
- 2015年12月(4)
- 2015年11月(5)
- 2015年10月(1)
- 2015年9月(6)
- 2015年8月(4)
- 2015年7月(1)
- 2015年6月(6)
- 2015年5月(3)
- 2015年4月(3)
- 2015年3月(2)
- 2015年2月(1)
- 2015年1月(3)
- 2014年12月(1)
- 2014年11月(1)
- 2014年10月(1)
- 2014年9月(3)
- 2014年8月(1)
- 2014年7月(1)
- 2014年6月(1)
- 2014年5月(3)
- 2014年4月(1)
- 2014年3月(1)
- 2014年2月(2)
- 2014年1月(1)
- 2013年12月(2)
- 2013年11月(2)
- 2013年10月(1)
- 2013年9月(3)
- 2013年8月(14)
- 2013年7月(7)
- 2013年4月(1)
- 2013年3月(4)
- 2013年2月(6)
- 2013年1月(6)
- 2012年12月(8)
- 2012年11月(6)