警惕匿名方法造成的变量共享
匿名方法
匿名方法是.NET 2.0中引入的高级特性,“匿名”二字说明它可以把实现内联地写在一个方法中,从而形成一个委托对象,而不用有明确地方法名,例如:
static void Test() { Action<string> action = delegate(string value) { Console.WriteLine(value); }; action("Hello World"); }
但是匿名方法的关键并不仅于“匿名”二字。其最强大的特性就在于匿名方法形成了一个闭包,它可以作为参数传递到另一个方法中去,但同时也能访问方法的局部变量和当前类中的其它成员。例如:
class TestClass { private void Print(string message) { Console.WriteLine(message); } public void Test() { string[] messages = new string[] { "Hello", "World" }; int index = 0; Action<string> action = (m) => { this.Print((index++) + ". " + m); }; Array.ForEach(messages, action); Console.WriteLine("index = " + index); } }
如上所示,在TestClass的Test方法中,action委托调用了同在TestClass类中的私有方法Print,并对Test方法中的局部变量index进行了读写。在加上C# 3.0中Lambda表达式的新特性,匿名方法的使用得到了极大的推广。不过,如果使用不当,匿名方法也容易造成难以发现的问题。
问题案例
某位兄弟最近在一个简单的数据导入程序,主要工作是从文本文件中读取数据,进行分析和重组,然后写入数据库。其逻辑大致如下:
static void Process() { List<Item> batchItems = new List<Item>(); foreach (var item in ...) { batchItems.Add(item); if (batchItems.Count > 1000) { DataContext db = new DataContext(); db.Items.InsertAllOnSubmit(batchItems); db.SubmitChanges(); batchItems = new List<Item>(); } } }
每次从数据源中读取数据后,添加到batchItems列表中,当batchItems满1000条时便进行一次提交。这段代码功能运行正常,可惜时间卡在了数据库提交上。数据的获取和处理很快,但是提交一次就要花较长时间。于是想想,数据提交和数据处理不会有资源上的冲突,那么就把数据提交放在另外一个线程上进行处理吧!于是,使用ThreadPool来改写代码:
static void Process() { List<Item> batchItems = new List<Item>(); foreach (var item in ...) { batchItems.Add(item); if (batchItems.Count > 1000) { ThreadPool.QueueUserWorkItem((o) => { DataContext db = new DataContext(); db.Items.InsertAllOnSubmit(batchItems); db.SubmitChanges(); }); batchItems = new List<Item>(); } } }
现在,我们将数据提交操作交给ThreadPoll执行,当线程池中有额外线程时,就会发起数据提交操作。而数据提交操作不会阻塞数据处理,因此按照那位兄弟的意图,数据会不断进行处理,最后只要等待所有数据库提交完成就可以了。思路很好,可惜运行时发现,原本(不利用多线程时)运行正常的代码,如今会“莫名其妙”地抛出异常。更为奇怪的是,数据库中的数据出现了丢失的情况:处理了并“提交”了一百万条数据,但是数据库里却少了一部分。于是对着代码左看右看,百思不得其解。
您看出问题原因来了吗?
分析原因
要发现问题所在,我们必须了解匿名方法在.NET环境中的实现方式。
.NET中本没有什么“匿名方法”,也没有类似的新特性。“匿名方法”完全是由编译器施展的魔法,它会将匿名方法中需要访问的所有成员一起包含在闭包中,确保所有的成员调用都符合.NET标准。例如在文章第一节中的第2个示例,实际上由编译器处理之后就变成了如下的样子(自然字段名经过“友好化”处理):
class TestClass { ... private sealed class AutoGeneratedHelperClass { public TestClass m_testClassInstance; public int m_index; public void Action(string m) { this.m_index++; this.m_testClassInstance.Print(m); } } public void TestAfterCompiled() { AutoGeneratedHelperClass helper = new AutoGeneratedHelperClass(); helper.m_testClassInstance = this; helper.m_index = 0; string[] messages = new string[] { "Hello", "World" }; Action<string> action = new Action<string>(helper.Action); Array.ForEach(messages, action); Console.WriteLine(helper.m_index); } }
由此就可以看出编译器是如何实现一个闭包的:
- 编译器自动生成一个私有的内部辅助类,并将其设为sealed,这个类的实例将成为一个闭包对象。
- 如果匿名方法需要访问方法的参数或局部变量,那么该参数或局部变量将“升级”成为辅助类中的公有Field字段。
- 如果匿名方法需要访问类中的其它方法,那么辅助类中将保存类的当前实例。
值得一提的是,在实际情况下以上三点理论都皆可能不满足。在某些特别简单的情况下(例如匿名方法中完全不涉及局部变量和其他方法),编译器只会简单生成一个静态的方法来构造一个委托实例,因为这样可以获得更好的性能。
对于之前的案例,我们现在也将它进行一番改写,这样便可“避免”使用匿名对象,也可以清楚地展现出问题原因:
private class AutoGeneratedClass { public List<Item> m_batchItems; public void WaitCallback(object o) { DataContext db = new DataContext(); db.Items.InsertAllOnSubmit(this.m_batchItems); db.SubmitChanges(); } } static void Process() { var helper = new AutoGeneratedClass(); helper.m_batchItems = new List<Item>(); foreach (var item in ...) { helper.m_batchItems.Add(item); if (helper.m_batchItems.Count > 1000) { ThreadPool.QueueUserWorkItem(helper.WaitCallback); helper.m_batchItems = new List<Item>(); } } }
编译器会自动生成一个AutoGeneratedClass类,并且在Process方法中使用这个类的实例来代替原来的batchItems局部变量。同样,交给ThreadPool的委托对象也从匿名方法变成了AutoGeneratedClass实例的公有方法。因此线程池每次调用的便是该实例的WaitCallback方法。
现在问题应该一目了然了吧?每次把委托交给线程池之后,线程池并不会立即执行,而会保留到合适的时间再进行。而WaitCallback方法在执行时,它会读取m_batchItems这个Field字段“当前”所引用的对象。而与此同时,Process方法已经“抛弃”了原本我们要提交的数据,因此会引起提交到数据库中数据的丢失。同时,在准备每批次数据的过程中,很有可能会发起两次数据提交,两个线程提交同样一批Item时,就抛出了所谓“莫名其妙”的异常。
解决问题
找到了问题所在,解决起来自然轻而易举:
private class WrapperClass { private List<Item> m_items; public WrapperClass(List<Item> items) { this.m_items = items; } public void WaitCallback(object o) { DataContext db = new DataContext(); db.Items.InsertAllOnSubmit(this.m_items); db.SubmitChanges(); } } static void Process() { List<Item> batchItems = new List<Item>(); foreach (var item in ...) { batchItems.Add(item); if (batchItems.Count > 1000) { ThreadPool.QueueUserWorkItem( new WrapperClass(batchItems).WaitCallback); batchItems = new List<Item>(); } } }
这里我们明确地准备一个封装类,用它来保留我们需要提交的数据。而每次提交时则使用保留好的数据,自然不会发生不该有的“数据共享”,从而避免了错误的发生1。
总结
匿名方法是强大的,但是也会造成一些令人难以察觉的陷阱。对于使用匿名方法创建的委托,如果不会立即同步执行,并且其中使用了方法的局部变量,那么您就需要对其留个心眼了。因为此时“局部变量”事实上已经由编译器转变成一个自动类的实例上的Field字段,而这个字段将被当前方法和委托对象共享。如果您在创建了委托对象之后还会修改共享的“局部变量”,那么请再三确认这样做符合您的意图,而不会造成问题。
此类问题也不光会出现在匿名方法中。如果您使用Lambda表达式创建了一个表达式树,其中也用到了一个“局部变量”,那么表达式树在解析或执行时同样也会获取“当前”的值,而不是创建表达式树时的值。
这也是为什么Java中的内联写法——匿名类——如果要共享方法内的“局部变量”,则必须将变量使用final关键字来修饰:这样这个变量只能在声明时赋值,避免了后续的“修改”可能会造成的“古怪问题”。
注1:一个更简洁的解决方案可以参考29楼overred兄弟的回复。