最快的方法来在Linux中的文件中洗牌

发布时间：2021-02-21 10:40:28 所属栏目：Linux 来源：互联网

导读：我想在 Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗？使用shuf而不是排序-R( man page). 排序-R的缓慢是probably due to it hashing every line.Shuf只

我想在 Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗？

解决方法

使用shuf而不是排序-R( man page).

排序-R的缓慢是probably due to it hashing every line.Shuf只是一个随机排列,所以它没有这个问题.

(这是在评论中提出的,但由于某些原因没有被写为任何人的答案)

（编辑：岳阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!