我有一个大约4500万行的大文件,大小约为1 GB.
我在我的WSL中使用了这个命令,删除重复行大约需要2分钟,而新文件大约有13M行:
root@DESKTOP-9PR0R3P:/mnt/c/Users/Saeed/Desktop/p/test# date; awk '!seen[$0]++' huge.txt > new2.txt; date
Sat May 20 10:58:06 +0330 2023
Sat May 20 11:00:10 +0330 2023
但我在PowerShell中使用了这个命令,大约15分钟后,我没有得到任何结果(即使文件大小仍然是0字节,并且不高于该大小):
gc huge.txt | sort | get-unique > new.txt
在Bash和PowerShell中,awk
和sort
和get-unique
有什么不同吗?
我用较小的文件try 了PowerShell命令,它起作用了(我的意思是命令本身是正确的).