活久见:表达式树编译执行引发VerificationException—操作可能会破坏运行时稳定性

作者:V君 发布于:2018-2-7 0:04 Wednesday 分类:挖坑经验

TL;DR:

当在使用表达式树编译成员绑定表达式,且存在隐式值类型装箱,

将表达式树编译成的委托执行起来的时候将会引发异常VerificationException

并提示消息“操作可能会破坏运行时稳定性

解决方法为显式装箱之后再绑定,可能是表达式树在编译成IL时没有对其进行必要的校验。

至于是不是性能考虑就不晓得了。从结果上来看,似乎却在运行时(亦或者JIT时)有检查。


听我扯扯:

在项目中需要比较两个同类型对象实例,且将差异收集起来。

于是咱首先就想到:不要一遍遍写繁琐的判断!

而是使用动态行为——堆IL、拼代码动态编译或表达式树编译。

咱选择后者,比起堆IL和拼代码还是表达式树写起来更舒服。


就算使用动态行为,基础的动作还是由简单的逻辑语句组成。

首先要遍历要diff的类的全部属性,然后将两个实例对应的属性值读出来比较,

若值相等则忽略,若值差异则连同属性名和两个差异的值收集起来。


思路想清楚了就开始吧。


定义一个有3个属性的类,分别存放属性名,和两个值,作为差异条目模型。

命名DiffEntry属性名是字符串,另外两个是object。


接着定义一个静态泛型类,静态构造里面构建每个属性的比较表达式树并将它们编译成委托,

公开静态方法Diff,返回DiffEntry的数组,调用编译好的委托。

命名ObjDiffCollector,存在引发装箱异常问题。

在gist描述为修订2,因为最初使用数组存放编译出来的委托,发生异常之后,

为了调查异常引发原因缩小范围,改为字典,键是属性名,值是委托,仅用在调试查看。


将问题缩小到值类型在DiffEntity的构造初始化成员绑定之后,

          .↑字符串类型没有问题

开始一小会儿的懵逼,放狗出去并没有找到什么卵线索。


这段可以忽略

先贴上异常名称,咕狗很贴心地提示了“operation could destabilize the runtime”,

接着出来的只有一个爆栈帖子,提到使用一个第三方数据访问层引发这样的错误。

打住吧,换成中文消息搜一下看看。

和预料的一样然并卵,被一篇转载到成为互联网垃圾程度的文章刷屏。

文章清一色的提到使用redgate的性能测量库所引发。

到这里线索断了。时间也不早,还要赴约,就把问题撂下跑了。

离开电脑面前不久之后,又玩了一次当局者迷play。

在外头晃悠时忽然灵光一现想到可能是隐式装箱导致,最终证实这个想法。


THE MEAT AND POTATOES 圈重点啦

可能堆IL和表达式编译一样,没有经过太完整的代码转换过程,隐式行为需要显式表达。

这时候需要将绑定的表达式加一层,转换成object,也就是显式装箱。

最终得出可用的ObjDiffCollector


回过头来想一想,发现CLR报这个错误也不无道理。

试想一下:一个非引用类型的结构体被装箱的情形,如果再复杂一点如果和原生代码扯上关系。

可能会导致意外的值复制行为,从而影响到整个应用程序的稳定性。

想当年,玩DllImport时,一不小心就内存损坏或者堆栈不平衡……


到此为止啦,收工!


接下来该考虑如何一步到位了,或许可以在一个表达式里面作完所有属性的比较和收集差异。

让代码的逼格显得更高。 乂目

标签: 软件开发 C# 调试技术 JIT LINQ 运行时错误

评论(0) 引用(0) 浏览(1216)

[不理想]使用EntityFramework6 Code First操作SQLite[Update1]

作者:V君 发布于:2016-9-15 20:22 Thursday 分类:折腾手记

这段时间一直在用EF6CF+MySQL忙得没完没了.终于到了假期,试试SQLite和EFCF看看手感如何吧!


新建项目开始折腾吧,从nuget上获取程序包,System.Data.SQLite 1.0.103

然后就是一坨自动依赖 Core/EF6/Linq, 删除EntityFramework.SqlServer引用

删除App.config,咱用SQLite就是想做个便携本地应用, 当然尽可能的在代码中配置


创建数据库上下文类, 继承DbContext

然后是类似MySqlEfConfiguration一样打一个特性上去, 发现并没有自带.

从爆栈上面找到个看起来靠谱的写法.结合问题和答案加到项目中.

然后就是添加迁移配置来创建数据库了, 就算不能自动变更也要来个初始化迁移来建库.

在程序包管理器控制台选择对应项目, 键入 Enable-Migrations 回车.

经过几次自动发起的生成, 尽管有报错, Migrations 文件夹和配置类出来就可以了.


接着还是像使用MySQL一样配置代码生成器, 在迁移配置类构造中追加配置

SetSqlGenerator , 这时发现生成器也没有自带, 网上还有很多说不支持

不过还是在爆栈找到了生成器的实现. 使用答案中的类实例作为生成器.

刚下下来的代码是编译不能的, 根据Resharper提示更换了命名空间才能用.


在数据库上下文类新增无参构造,给base传递Sqlite连接实例,

第二个参数true表示上下文拥有连接实例,可以自动释放.

走一下新增初始建库迁移吧! 在程序包管理器控制台输入 Add-Migration Init 回车!

用来创建数据库的初始迁移就出来啦! 尽管Up/Down方法体内什么都没有!


有了迁移, 那么生成一下SQL看看, 仍然是包管理器控制台, 键入 Update-Database -Script

又是几次自动发起的生成, 然后一个空的sql文件冒了出来... 哈哈 当然, 咱么还没加表呢!


赶紧加表看看效果吧! 回到数据库上下文类增加公开可读写属性IDbSet<T> T是你的实体类.

删除Migrations里的*******_Init.cs, 删除已有的数据库文件

以后要改变数据库都要删除它们再重新Add-Migration,

并且只能有第一次, 因为目前Sqlite的EntityFramework似乎还不支持自动迁移...

这也就是给文章标题打上[不理想]标签的原因.

这次的迁移Up/Down方法体里面有东西了, 分别是创建和删除表.

生成的sql文件crate table语句也出来了.

理所当然的发现没有迁移历史表 __MigrationHistory 的创建语句.


接下来是直接创建数据库, 包控制台里面输入 Update-Database 去掉后面的 -Script 参数

这时应该会在exe旁边冒出连接字符串中指定的文件名啊? 怎么什么都没有?

用Everything搜索文件名才发现, 原来这货跑到系统目录去生成了, 我去 _(:з」∠)_


于是接着咕狗,然后爆栈解决问题, 通过应用域里面类似环境变量一样的方式指定路径.

终于在指定位置自动创建了数据库, 对于每次结构变更只能重建数据库... 凑合着用吧.


Update1:

不同表名相同字段并且是外键时会创建同名索引导致SQL执行错误

需要在 MigrationSqLiteGenerator 以下方法做修改来解决

 Generate(CreateIndexOperation) 

 Generate(DropIndexOperation)

将索引名称后缀上表名就可以了, 

ltextWriter.Write(opeCriacaoIndex.Name + "_" + RemoveDBO(opeCriacaoIndex.Table));

ltextWriter.Write(opeDropIndex.Name + "_" + RemoveDBO(opeDropIndex.Table));

尽管Drop操作现在也没机会用得到, 先也修改吧, 哪天迁移功能受支持就可以直接用了.


标签: 软件开发 C# 数据库 LINQ ORM

评论(0) 引用(0) 浏览(1547)

应避免的 LINQ to SQL 聚合投影空值错误

作者:V君 发布于:2016-7-15 11:06 Friday 分类:挖坑经验

根本原因: SQL 在进行 SUM 这类聚合查询时如果一条数据也没有, 会得到 NULL.

如果你的投影结果字段用了不可空类型, 将会引发错误: null 无法赋值到不可空类型.

解决方法: 将聚合投影字段转换成可空, 并将聚合结果做空处理, 一般把空转成0.

 

可能出错的写法:

var result = DataBase.Table.Sum(p=>p.Amount);

 

修改以避免错误:

var result = DataBase.Table.Sum(p=>(decimal?)p.Amount)) ?? 0;

标签: 软件开发 C# 数据库 LINQ 运行时错误

评论(0) 引用(0) 浏览(1399)

重新认识EntityFramework, 比较几个LINQ数据访问/ORM库

作者:V君 发布于:2016-5-27 9:29 Friday 分类:挖坑经验

前些年我曾说过 Entity Framework 就是个坑 

但自从最近试着摆弄 ASP.NET Boilerplate Project 对Entity Framework大有改观.

原来版本6之后的Entity Framework完全可以把dbml dbLinq linq2db sqlite-net远远甩在后头.


dbml - LINQ to SQL 类

◆能从数据库生成设计器代码, 也能先设计再生成数据库

◆完整的复杂查询/投影支持

◇仅限MsSQL


dbLinq - 上者的一个类似克隆一样的实现 GitHub 

◆支持多种数据库

能从数据库生成设计器代码, 不支持自动创建数据库

◇复杂查询/投影不完善

 

linq2db - 近些年发起的开源LINQ数据访问/ORM库, 看起来是上者的重新实现 GitHub 

◆支持多种数据库

◆完整的复杂查询/投影支持

能从实体类生成数据库, 也能从数据库生成实体类(T4)

 

sqlite-net - 轻量级sqlite数据访问实现, 因为轻量所以没太多功能 GitHub

◆单个源码文件加到项目即可使用

跨平台直接调用原生实现, 不依赖ADO.NET

○简单的LINQ支持

◇不支持复杂查询/投影


Entity Framework 6+ - 着看怎么完爆上面这堆

◆上述除了轻量级之外的所有优点

◆多种开始方式: CodeFirst,DbFirst,ModelFirst. (不过 CodeFist 就够了)

,能按你对模型类的变更生成数据库更新脚本

◇目前尚未发现缺点

使用一段时间后总算是找到了些缺点(?),可能是考虑到兼容不同数据库 

 LINQ表达式解析依赖于提供程序实现,

 比如MySQL提供程序实现的表达式解析器的解析和投影就BUG满满,

 具体表现为各种操作符报不支持或者导航属性投影字段混淆.


总之赶紧来用这货吧 ゚∀゚)σ

偷偷更新:其实EF的迁移并不太好使,还是基于现有数据库的CodeFirst跟Dapper混搭好 乂目

标签: 软件开发 C# 数据库 LINQ ORM

评论(0) 引用(0) 浏览(1864)

让mono也能用DynamicExpression::ParseLambda

作者:V君 发布于:2014-7-22 13:29 Tuesday 分类:折腾手记

网上一直传的反射 System.Web.Extensions 私有类

 System.Web.Query.Dynamic.DynamicExpression 

中的 ParseLambda 方法来实现动态lambda表达式

Assembly asm = typeof(UpdatePanel).Assembly;

Type dynamicExpressionType =
    asm.GetType("System.Web.Query.Dynamic.DynamicExpression");

MethodInfo parseLambdaMethod = dynamicExpressionType
   .GetMethods(BindingFlags.Public | BindingFlags.Static)
   .Where(m => (m.Name == "ParseLambda")
            && (m.GetParameters().Length == 2))
   .Single()
   .MakeGenericMethod(typeof(T), typeof(Boolean));

var func = (Func<stringobject[], Expression<Func<T, bool>>>)
    Delegate.CreateDelegate(
       typeof(Func<stringobject[], Expression<Func<T, bool>>>)
       , parseLambdaMethod
    );

在Windows底下一直好好的发挥作用

不过最近在mono跑了爆空指针, 或许是类名不同或者压根就没实现吧

不管了, 试着扒出M¥类库的代码看看能不能用吧.

过程略. (反编译,修正编译器生成标识符,切断依赖) 还挺顺利的 乂D

拿去用吧: System.Web.Query.Dynamic.cs.zip 尽管还整理的不够到位

(错误提示口胡和编译经过) 乂D


好吧, 原来dbLinq项目里也有 这玩意 , 用它吧, 较靠谱


这个月0博文消灭乂D

标签: 软件开发 C# 数据库 mono LINQ

评论(0) 引用(0) 浏览(2122)

Powered by emlog 去你妹的备案 sitemap