主题：大数据如何保存？？？

狐爸应该提供一种无条件更新，现在是判断更新，在低数据量时效率非常好，但是面对大数据量，就有很慢了，甚至卡死。

 

加载对于狐表来说非常快，几万行也很快！

但是我在2013版中遇到过，加载几万条数据，没有任何问题，但是只要一点击同步，软件就卡死了，MSSQL2005。

现在狐表一次保存一两万新增行，十几列的时候，很容易卡死。可能是保存时间有点长。

 

所以狐爸应该考虑下对大数据的保存机制和同步问题。当然楼主这种是少数，应该考虑数据来源归整问题

 

呵呵，这种判断，不影响保存效率的，正如我前面所言，你直接用C#编码，逐行读取20万行的文本数据，然后直接写入sql Server，没有任何判断，也一样快不了的哦，因为这个思路已经决定结果。

 

软件通常考虑的是为最常见的场合，提供最高的效率，一次增加或修改2万行，不是一个常规操作，偶尔操作，就耐心等候吧，如果经常这样，就需要反思设计思路了。

我做的系统是数据分析系统，我的数据来源就是 上级单位导出的TXT文本，我必须吧每天的TXT文本（20万数据量）导入到数据库，我才能进行分析。“狐爸爸”您认为我除了每天导入数据 我还有什么思路？？我现在的做法是导入狐表然后保存到数据库， 但是咱们狐表保存数据到SQL server 的效率实在太慢了！！！ 我用sql server 数据库自带的导入数据工具速度很快的，也就2分钟就导入了

我做的系统是数据分析系统，我的数据来源就是 上级单位导出的TXT文本，我必须吧每天的TXT文本（20万数据量）导入到数据库，我才能进行分析。“狐爸爸”您认为我除了每天导入数据 我还有什么思路？？我现在的做法是导入狐表然后保存到数据库， 但是咱们狐表保存数据到SQL server 的效率实在太慢了！！！ 我用sql server 数据库自带的导入数据工具速度很快的，也就2分钟就导入了

那你直接用sql server导入工具导入嘛,或者自己写导入程序

或者让你的上级单位开放数据接口

怎么样,我跟你说了吧 你这个不管是任何开发工具 导入和保存都是有问题的.  直接导入到 sql 或者利用你的导入的源文件来做查询快的多. 另外动脑筋吧

20W行的txt要多大那？最好的方案是先预处理这个txt，如果有办法接到上级那是最好的了

在对TXT 读取方面 我看见过一个 dll  十分给力 几乎秒读 在对100M的txt 读取也十分给力 ，在数据保存方面 我个人觉得 多线程分开保存是否会有效率？ 导入的话，我想导入的一定是数据库的表，我想也没有其他什么文件格式东西能保存如此庞大的数据量。所以我觉得楼上的人，已经讲的很好了。我试过，狐表里面增加100000行的空白数据保存，程序立马死掉。导入100000行数据显示，死掉。我想楼主也不可能 一目千万行是吧。但是分页加载。后台统计处理后。以上的大数据量就不是问题了。实在不行多线程看看会不会好很多。