Foxtable(狐表)用户栏目专家坐堂 → NB哄哄的分组与交叉统计,统计效率未必NB


  共有27638人关注过本帖树形打印复制链接

主题:NB哄哄的分组与交叉统计,统计效率未必NB

帅哥哟,离线,有人找我吗?
狐狸爸爸
  11楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2009/6/22 15:13:00 [只看该作者]

以下是引用reachtone在2009-6-22 15:01:00的发言:

几十万条的数据库如果一下子加载到foxtable中确实不是一个好的办法,但在实际工作中,这种情况也会经常碰到。比如,要统计连续几年的年度增长率,必须要把这几年的数据都加载进来才行。
现在的问题是,在20万条数据已经加载的情况下,用QueryBuilder和foxtable自身的分组交叉分别进行统计,其效率差别是非常大的。我的意思是,能否改进一下目前的分组、交叉统计。


看10楼的回复,Foxtable本身的统计是很高效的,我加了年和月的表达式列,统计你的20万数据,一样可以在几秒钟内统计出来,只是这样的话,同比和环比计算不了,不过这个很容易解决的。

看来Foxtable的日期拆分有问题,我分析一下,应该可以处理好的。

看来这个分组统计和交叉统计,还是很牛皮的,不过得有高手过招才有。

图片点击可在新窗口打开查看

[此贴子已经被作者于2009-6-22 15:19:52编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  12楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2009/6/22 15:31:00 [只看该作者]

以下是引用狐狸爸爸在2009-6-22 15:13:00的发言:


看10楼的回复,Foxtable本身的统计是很高效的,我加了年和月的表达式列,统计你的20万数据,一样可以在几秒钟内统计出来,只是这样的话,同比和环比计算不了,不过这个很容易解决的。

呵呵,如果加了“年”和“月”,就没办法计算比例了。这和之前没更新的分组与交叉统计方法相同,当然很快了。
这个分组统计和交叉统计,确实牛皮!不过,要效率提高了,才算是真正的牛皮。
看老六的意思,估计很快能解决。期待中!

[此贴子已经被作者于2009-6-22 15:32:24编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  13楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2009/6/22 15:36:00 [只看该作者]

以下是引用reachtone在2009-6-22 15:31:00的发言:

呵呵,如果加了“年”和“月”,就没办法计算比例了。这和之前没更新的分组与交叉统计方法相同,当然很快了。
看老六的意思,估计很快能解决。期待中!



呵呵,速度降低,和占比计算无关的,占比占用的计算时间,绝对不到0.1秒,用旧版本的foxtable统计你的20万数据,一样很久出不来结果的。
这个问题解决了,等下次更新吧。

[此贴子已经被作者于2009-6-22 15:35:53编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  14楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2009/6/22 15:48:00 [只看该作者]

以下是引用狐狸爸爸在2009-6-22 15:36:00的发言:

呵呵,速度降低,和占比计算无关的,占比占用的计算时间,绝对不到0.1秒,用旧版本的foxtable统计你的20万数据,一样很久出不来结果的。
这个问题解决了,等下次更新吧。

用旧版统计会很久出不来结果?我印象中,旧版统计还是很快的。
既然已经解决了,就放出来吧。等着用呢图片点击可在新窗口打开查看

通用软件能做到这样的统计分析,绝对是NB!

对了,汇总模式也加上这样的统计功能吧。还有自动隐藏无关列的问题,具体请看这里的2楼:http://www.foxtable.com/dispbbs.asp?boardid=2&Id=3132&page=2。不会是忘记了吧?

[此贴子已经被作者于2009-6-22 15:53:19编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  15楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2009/6/22 15:56:00 [只看该作者]

新旧的速度是一样的,就是根据日期分组有问题,其它都很高效。
你的那个建议我看不懂,什么是无关列,其实任何一个列,都有可能用来分组,也有可能用来统计的。

 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  16楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2009/6/22 16:12:00 [只看该作者]

看这个示意图:

图片点击可在新窗口打开查看此主题相关图片如下:snap4.gif
图片点击可在新窗口打开查看
这是按媒体名称和行业类别分组、对面积和费用进行统计。由于字段太多,需要拉动滚动条才能看到最右边的统计结果,非常非常不方便。建议在生成统计时,只显示媒体名称、行业类别、面积、费用四列(也就是分组列和统计列),其它列全部隐藏。这样看起来就会非常直观。
退出汇总模式时,再显示全部列。

 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  17楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2009/6/22 16:17:00 [只看该作者]

我明白了,有意思。
我考虑考虑吧。


 回到顶部
帅哥哟,离线,有人找我吗?
kylin
  18楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 F6
等级:狐精 帖子:3030 积分:19188 威望:0 精华:2 注册:2008/9/1 7:50:00
  发帖心情 Post By:2009/6/22 16:43:00 [只看该作者]

这个讨论是有成效的,不错,顶一下!
不过,隐藏无关列,绝对不可以列为自动,应该作为可选项,最多作为可选时默认隐藏,用户根据需要也可以不隐藏的

 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  19楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2009/6/22 16:46:00 [只看该作者]

以下是引用kylin在2009-6-22 16:43:00的发言:
这个讨论是有成效的,不错,顶一下!
不过,隐藏无关列,绝对不可以列为自动,应该作为可选项,最多作为可选时默认隐藏,用户根据需要也可以不隐藏的

是的,就是建议加个可选项。
只要老六觉得有意思,那这个问题离解决也就不远了。呵呵


 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  20楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251048 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2009/6/22 16:53:00 [只看该作者]

1、已经搞定,刚刚测试了一下,直接根据日期,按年和月分组统计面积,用时36秒
2、如果事先加上年月列,用时不到6秒。

可以用SQL建立查询表的时候,直接加上年月列,例如:

SELECT Year(日期) AS 年, Month(日期) AS 月,数量 FROM {订单}

[此贴子已经被作者于2009-6-22 16:55:08编辑过]

 回到顶部
总数 42 上一页 1 2 3 4 5 下一页