Foxtable(狐表)用户栏目专家坐堂 → 关于逻辑列的效率问题(6楼同学的办法比我的好)


  共有13761人关注过本帖树形打印复制链接

主题:关于逻辑列的效率问题(6楼同学的办法比我的好)

帅哥哟,离线,有人找我吗?
狐狸爸爸
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
关于逻辑列的效率问题(6楼同学的办法比我的好)  发帖心情 Post By:2010/12/15 11:21:00 [只看该作者]

表A的结构如下:


图片点击可在新窗口打开查看此主题相关图片如下:12.gif
图片点击可在新窗口打开查看

 

表B的结构如下:

 


图片点击可在新窗口打开查看此主题相关图片如下:15.gif
图片点击可在新窗口打开查看
 

希望在表B统计出客户付款和欠款情况,代码为:

 

Dim st As Date = Date.Now
Dim nms As List(of String) = DataTables("表A").GetUniqueValues("","客户")
DataTables("表B").StopRedraw()
For Each nm As String In nms
    Dim dr As DataRow = DataTables("表B").AddNew()
    dr("客户") = nm
    dr("付款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = '" & nm & "' And 已付款 = True")
    dr("欠款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = '" & nm & "' And 已付款 = False")
Next
DataTables("表B").ResumeRedraw()
Output.Show("计算结束, 耗时: " & (Date.Now - st).TotalSeconds & "秒")
 

 

在表A有5000行,客户数为1000的情况下,上述代码执行时间为25秒。

可以接受,但不够理想,按道理不应该要这么长时间的。

 

随后我将已付款列改为字符型,用Y表示已经付款,用N表示未付款:

 


图片点击可在新窗口打开查看此主题相关图片如下:14.gif
图片点击可在新窗口打开查看

 

然后将代码改为:

 

Dim st As Date = Date.Now
Dim nms As List(of String) = DataTables("表A").GetUniqueValues("","客户")
DataTables("表B").StopRedraw()
For Each nm As String In nms
    Dim dr As DataRow = DataTables("表B").AddNew()
    dr("客户") = nm
    dr("付款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = '" & nm & "' And 已付款 = 'Y'")
    dr("欠款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = '" & nm & "' And 已付款 = 'N'")
Next
DataTables("表B").ResumeRedraw()
Output.Show("计算结束, 耗时: " & (Date.Now - st).TotalSeconds & "秒")
 

执行上述代码,花费的时间为0.25秒,比之前的代码快了100倍。

 

看来逻辑列的查询效率比其它列类型低了100倍。

 

但显然逻辑列是不可能不用的,于是我重新将已付款改为逻辑列,将代码改为:

 

Dim st As Date = Date.Now
Dim nms As List(of String) = DataTables("表A").GetUniqueValues("","客户")
DataTables("表B").StopRedraw()
DataTables("表A").DataCols.Add("tk", Gettype(Integer),"已付款")
For Each nm As String In nms
    Dim dr As DataRow = DataTables("表B").AddNew()
    dr("客户") = nm
    dr("付款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = '" & nm & "' And tk = 1")
    dr("欠款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = '" & nm & "' And tk = 0")
Next
DataTables("表A").DataCols.Delete("tk")
DataTables("表B").ResumeRedraw()
Output.Show("计算结束, 耗时: " & (Date.Now - st).TotalSeconds & "秒")

 

经过测试,上面代码执行时间为0.23秒。

原理就是临时增加一个整数列,将逻辑列的值转换为整数,在表达式中使用此整数列,而不是原来的逻辑列。
逻辑值转换为整数的时候,True转为1,False转换为0

 

 

这是测试文件:

 

 

 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:管理项目39.rar

[此贴子已经被作者于2010-12-15 17:49:08编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
mr725
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:MVP荣誉狐 帖子:5154 积分:31434 威望:0 精华:8 注册:2008/9/8 12:27:00
  发帖心情 Post By:2010/12/15 14:15:00 [只看该作者]

这个总结好!!!  

 

补充一个如:

DataTables("表A").Select("[第二列] = " & dr1("第一列") & ","第二列")   这个排序也严重影响效率4倍以上···


 回到顶部
帅哥哟,离线,有人找我吗?
lihe60
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:狐神 帖子:6816 积分:43118 威望:0 精华:0 注册:2009/3/2 14:07:00
  发帖心情 Post By:2010/12/15 14:21:00 [只看该作者]

看来应该取消逻辑属性了


 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2010/12/15 14:37:00 [只看该作者]

以下是引用lihe60在2010-12-15 14:21:00的发言:

看来应该取消逻辑属性了

 

没必要的,也不可能的,逻辑列有逻辑列的好处。

而且完全可以用代码临时增加一个字符或整数的表达式列,来绕过这个问题,例如:

 

Dim st As Date = Date.Now
Dim nms As List(of String) = DataTables("表A").GetUniqueValues("","客户")
DataTables("表B").StopRedraw()
DataTables("表A").DataCols.Add("tk", Gettype(Integer),"已付款")
For Each nm As String In nms
    Dim dr As DataRow = DataTables("表B").AddNew()
    dr("客户") = nm
    dr("付款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = '" & nm & "' And tk = 1")
    dr("欠款合计") = DataTables("表A").Compute("Sum(金额)", "客户 = '" & nm & "' And tk = 0")
Next
DataTables("表A").DataCols.Delete("tk")
DataTables("表B").ResumeRedraw()
Output.Show("计算结束, 耗时: " & (Date.Now - st).TotalSeconds & "秒")

[此贴子已经被作者于2010-12-15 15:09:50编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
blackzhu
  5楼 | QQ | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:狐仙 帖子:9875 积分:57584 威望:0 精华:15 注册:2008/9/1 9:45:00
  发帖心情 Post By:2010/12/15 15:52:00 [只看该作者]

狐爸是不是给错测试文件了

 回到顶部
帅哥哟,离线,有人找我吗?
rzq1211
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:18 积分:336 威望:0 精华:1 注册:2009/4/8 10:52:00
  发帖心情 Post By:2010/12/15 17:30:00 [只看该作者]

将True改为 1, 将False改为 0,不增加表达式列,经测试,快
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:逻辑列的效率编程比较.rar

[此贴子已经被作者于2010-12-15 17:34:44编辑过]

[本帖被加为精华]
 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2010/12/15 17:48:00 [只看该作者]

以下是引用rzq1211在2010-12-15 17:30:00的发言:
将True改为 1, 将False改为 0,不增加表达式列,经测试,快
 下载信息  [文件大小:204.2 KB  下载次数:2]
图片点击可在新窗口打开查看点击浏览该文件:逻辑列的效率编程比较.rar

[此贴子已经被作者于2010-12-15 17:34:44编辑过]

 

哈哈,学了一招,多谢了。


 回到顶部
帅哥哟,离线,有人找我吗?
mr725
  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:MVP荣誉狐 帖子:5154 积分:31434 威望:0 精华:8 注册:2008/9/8 12:27:00
  发帖心情 Post By:2010/12/15 19:15:00 [只看该作者]

好像只对Compute里面的表达式有效, 对如 find 、 select 里的表达式没有什么影响·····

 

Select(Filter,Sort) 这里的排序,会严重影响效率。。。

[此贴子已经被作者于2010-12-15 19:21:12编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
mr725
  9楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:MVP荣誉狐 帖子:5154 积分:31434 威望:0 精华:8 注册:2008/9/8 12:27:00
  发帖心情 Post By:2010/12/15 19:32:00 [只看该作者]

http://www.foxtable.com/dispbbs.asp?boardid=2&Id=8837  中,狐爸你可以测试一下你4楼的代码 :

 

Dim t1 As Date = Date.Now
Dim dic As New Dictionary(of DataRow, DataRow)
Dim lst As New List(of Integer)
Dim drs As List(of DataRow)
Dim dr1 As DataRow
For Each dr1 In DataTables("表A").DataRows
    drs = DataTables("表A").Select("[第二列] = " & dr1("第一列"),"_identify" )

' 注意:红字部分是加上的,绝不影响代码执行结果····效率差了20倍~
    For Each dr2 As DataRow In drs
        If lst.Contains(dr2("_Identify"))= False Then
            lst.add(dr2("_Identify"))
            dic.Add(dr1, dr2)
            Exit For
        End If
    Next
Next
For Each dr As DataRow In dic.keys
    dr1 = dic(dr)
    dr("第八列") = dr1("_Identify")
    dr("第九列") = dr1("第一列")
    dr("第十列") = dr1("第二列")
Next
Output.Show("计算结束, 耗时: " & (Date.Now - t1).TotalSeconds & "秒")

[此贴子已经被作者于2010-12-15 19:32:56编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  10楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2010/12/15 19:43:00 [只看该作者]

呵呵,排序需要时间啊,有影响是正常的。

 回到顶部
总数 12 1 2 下一页