以文本方式查看主题

-  Foxtable(狐表)  (http://www.foxtable.com/bbs/index.asp)
--  专家坐堂  (http://www.foxtable.com/bbs/list.asp?boardid=2)
----  关于逻辑列的效率问题(6楼同学的办法比我的好)  (http://www.foxtable.com/bbs/dispbbs.asp?boardid=2&id=8846)

--  作者:狐狸爸爸
--  发布时间:2010/12/15 11:21:00
--  关于逻辑列的效率问题(6楼同学的办法比我的好)

表A的结构如下:


图片点击可在新窗口打开查看此主题相关图片如下:12.gif
图片点击可在新窗口打开查看

 

表B的结构如下:

 


图片点击可在新窗口打开查看此主题相关图片如下:15.gif
图片点击可在新窗口打开查看
 

希望在表B统计出客户付款和欠款情况,代码为:

 

Dim st As Date = Date.Now
Dim nms As List(of String) = DataTables("表A").GetUniqueValues("","客户")
DataTables("表B").StopRedraw()
For Each nm As String In nms
    Dim dr As DataRow = DataTables("表B").AddNew()
    dr("客户") = nm
    dr("付款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = \'" & nm & "\' And 已付款 = True")
    dr("欠款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = \'" & nm & "\' And 已付款 = False")
Next
DataTables("表B").ResumeRedraw()
Output.Show("计算结束, 耗时: " & (Date.Now - st).TotalSeconds & "秒")
 

 

在表A有5000行,客户数为1000的情况下,上述代码执行时间为25秒。

可以接受,但不够理想,按道理不应该要这么长时间的。

 

随后我将已付款列改为字符型,用Y表示已经付款,用N表示未付款:

 


图片点击可在新窗口打开查看此主题相关图片如下:14.gif
图片点击可在新窗口打开查看

 

然后将代码改为:

 

Dim st As Date = Date.Now
Dim nms As List(of String) = DataTables("表A").GetUniqueValues("","客户")
DataTables("表B").StopRedraw()
For Each nm As String In nms
    Dim dr As DataRow = DataTables("表B").AddNew()
    dr("客户") = nm
    dr("付款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = \'" & nm & "\' And 已付款 = \'Y\'")
    dr("欠款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = \'" & nm & "\' And 已付款 = \'N\'")
Next
DataTables("表B").ResumeRedraw()
Output.Show("计算结束, 耗时: " & (Date.Now - st).TotalSeconds & "秒")
 

执行上述代码,花费的时间为0.25秒,比之前的代码快了100倍。

 

看来逻辑列的查询效率比其它列类型低了100倍。

 

但显然逻辑列是不可能不用的,于是我重新将已付款改为逻辑列,将代码改为:

 

Dim st As Date = Date.Now
Dim nms As List(of String) = DataTables("表A").GetUniqueValues("","客户")
DataTables("表B").StopRedraw()
DataTables("表A").DataCols.Add("tk", Gettype(Integer),"已付款")
For Each nm As String In nms
    Dim dr As DataRow = DataTables("表B").AddNew()
    dr("客户") = nm
    dr("付款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = \'" & nm & "\' And tk = 1")
    dr("欠款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = \'" & nm & "\' And tk = 0")
Next
DataTables("表A").DataCols.Delete("tk")
DataTables("表B").ResumeRedraw()
Output.Show("计算结束, 耗时: " & (Date.Now - st).TotalSeconds & "秒")

 

经过测试,上面代码执行时间为0.23秒。

原理就是临时增加一个整数列,将逻辑列的值转换为整数,在表达式中使用此整数列,而不是原来的逻辑列。
逻辑值转换为整数的时候,True转为1,False转换为0

 

 

这是测试文件:

 

 

 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:管理项目39.rar

[此贴子已经被作者于2010-12-15 17:49:08编辑过]

--  作者:mr725
--  发布时间:2010/12/15 14:15:00
--  

这个总结好!!!  

 

补充一个如:

DataTables("表A").Select("[第二列] = " & dr1("第一列") & ","第二列")   这个排序也严重影响效率4倍以上···


--  作者:lihe60
--  发布时间:2010/12/15 14:21:00
--  

看来应该取消逻辑属性了


--  作者:狐狸爸爸
--  发布时间:2010/12/15 14:37:00
--  
以下是引用lihe60在2010-12-15 14:21:00的发言:

看来应该取消逻辑属性了

 

没必要的,也不可能的,逻辑列有逻辑列的好处。

而且完全可以用代码临时增加一个字符或整数的表达式列,来绕过这个问题,例如:

 

Dim st As Date = Date.Now
Dim nms As List(of String) = DataTables("表A").GetUniqueValues("","客户")
DataTables("表B").StopRedraw()
DataTables("表A").DataCols.Add("tk", Gettype(Integer),"已付款")
For Each nm As String In nms
    Dim dr As DataRow = DataTables("表B").AddNew()
    dr("客户") = nm
    dr("付款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = \'" & nm & "\' And tk = 1")
    dr("欠款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = \'" & nm & "\' And tk = 0")
Next
DataTables("表A").DataCols.Delete("tk")
DataTables("表B").ResumeRedraw()
Output.Show("计算结束, 耗时: " & (Date.Now - st).TotalSeconds & "秒")

[此贴子已经被作者于2010-12-15 15:09:50编辑过]

--  作者:blackzhu
--  发布时间:2010/12/15 15:52:00
--  
狐爸是不是给错测试文件了
--  作者:rzq1211
--  发布时间:2010/12/15 17:30:00
--  
将True改为 1, 将False改为 0,不增加表达式列,经测试,快
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:逻辑列的效率编程比较.rar

[此贴子已经被作者于2010-12-15 17:34:44编辑过]

--  作者:狐狸爸爸
--  发布时间:2010/12/15 17:48:00
--  
以下是引用rzq1211在2010-12-15 17:30:00的发言:
将True改为 1, 将False改为 0,不增加表达式列,经测试,快
 下载信息  [文件大小:204.2 KB  下载次数:2]
图片点击可在新窗口打开查看点击浏览该文件:逻辑列的效率编程比较.rar

[此贴子已经被作者于2010-12-15 17:34:44编辑过]

 

哈哈,学了一招,多谢了。


--  作者:mr725
--  发布时间:2010/12/15 19:15:00
--  

好像只对Compute里面的表达式有效, 对如 find 、 select 里的表达式没有什么影响·····

 

Select(Filter,Sort) 这里的排序,会严重影响效率。。。

[此贴子已经被作者于2010-12-15 19:21:12编辑过]

--  作者:mr725
--  发布时间:2010/12/15 19:32:00
--  

http://www.foxtable.com/dispbbs.asp?boardid=2&Id=8837  中,狐爸你可以测试一下你4楼的代码 :

 

Dim t1 As Date = Date.Now
Dim dic As New Dictionary(of DataRow, DataRow)
Dim lst As New List(of Integer)
Dim drs As List(of DataRow)
Dim dr1 As DataRow
For Each dr1 In DataTables("表A").DataRows
    drs = DataTables("表A").Select("[第二列] = " & dr1("第一列"),"_identify" )

\' 注意:红字部分是加上的,绝不影响代码执行结果····效率差了20倍~
    For Each dr2 As DataRow In drs
        If lst.Contains(dr2("_Identify"))= False Then
            lst.add(dr2("_Identify"))
            dic.Add(dr1, dr2)
            Exit For
        End If
    Next
Next
For Each dr As DataRow In dic.keys
    dr1 = dic(dr)
    dr("第八列") = dr1("_Identify")
    dr("第九列") = dr1("第一列")
    dr("第十列") = dr1("第二列")
Next
Output.Show("计算结束, 耗时: " & (Date.Now - t1).TotalSeconds & "秒")

[此贴子已经被作者于2010-12-15 19:32:56编辑过]

--  作者:狐狸爸爸
--  发布时间:2010/12/15 19:43:00
--  
呵呵,排序需要时间啊,有影响是正常的。