手把手教你整理杂乱文本：从去重到清洗的高效方案

最近有个朋友问我，手里攒了一大堆乱七八糟的文本片段，有从网页复制的、有导出的日志，还有各处收集的资料，混在一起既重复又格式错乱，问我有没有什么高效的办法能整理一下。

说实话，这种“脏数据”处理绝对是很多日常工作的痛点。如果我们还是靠肉眼去一行行比对，然后再手动删除重复行，那不仅效率低，还容易把眼睛看瞎。今天我就来分享几个我压箱底的文本去重和整理大招，不管你是用 Windows、Mac 还是 Linux，总有一款适合你。

一、 偷懒神器：记事本/代码编辑器的自带功能

很多人不知道，其实我们常用的编辑器早就内置了去重功能。

如果你用的是 VS Code 或者 Sublime Text，这就简单了。先把所有杂乱文本全部扔进去，然后按下 Ctrl+H（或者 Command+H）打开查找替换。

1. 选中所有的文本。
2. 点击查找框旁边的那个 .* 符号（启用正则表达式）。
3. 如果你的文本是每行一条记录，可以在查找里输入 ^(.*?)$\s*^(?=.*$\1) —— 哎呀，这正则式写起来有点头皮发麻，其实有个更笨但有效的办法：利用排序插件或者 Python 插件。

更简单的做法是： 利用 EmEditor 或者 Notepad++。

特别是 Notepad++，简直是处理大文本的神器。操作步骤如下：

1. 全选文本，菜单栏选择“编辑” -> “行操作” -> “移除重复行”或者“移除空行”。
2. 如果是乱序的，先“编辑” -> “行操作” -> “按字典顺序排序行”。
3. 排序后，所有相同的内容都会挤在一起，这时候再执行一次移除重复行，世界瞬间清净了。

二、 进阶玩家：用几行 Python 搞定

如果你手头的数据量特别大，比如几百万行，或者格式非常奇葩，这时候普通编辑器可能会卡死。那就得上脚本了。

Python 里有个超级好用的库叫 pandas，处理表格类文本简直不要太爽。当然，光处理纯文本去重，几行原生代码就够了：

# 读取文件，自动去重
with open('messy_text.txt', 'r', encoding='utf-8') as f:
    lines = f.readlines()

# 利用 set 集合的特性自动去重（注意：这会打乱顺序）
unique_lines = list(set(lines))

# 如果想保持原有顺序，可以用 dict.fromkeys
# unique_lines = list(dict.fromkeys(lines))

with open('clean_text.txt', 'w', encoding='utf-8') as f:
    f.writelines(unique_lines)

如果想保留顺序并去重，dict.fromkeys 是个技巧 Python 3.7+ 都能保证字典顺序，这样既删了重复项，又不会打乱你原本的逻辑流。

三、 数据清洗核心思路：正则大法

去重只是第一步，很多时候文本里夹杂着无数乱码、多余的空格或者特殊的标记。这时候必须祭出“正则表达式”这把屠龙刀。

• 去除多余空格： 查找 \s+，替换为 （单个空格）或者 \n（换行）。
• 去除特定格式的干扰字符： 很多网页复制的文本带有像 [1]、（图） 之类的标记，可以用 \[.*?\] 进行批量替换。

配合像 Regex101 这样的在线工具调试，能帮你省下大半天的时间。先把规律摸透，写好规则，然后一键替换，看着杂乱的文本瞬间变得规整，那感觉极其解压。

四、 拒绝重复造轮子：命令行工具

对于折腾类博主或者运维朋友，其实最优雅的方式还是命令行。

在 Linux 或者 macOS 的 Terminal 里，只需要一句命令就能搞定大部分去重工作：

sort messy_file.txt | uniq > clean_file.txt
``n
这里的核心逻辑是：
1.  `sort` 先把内容排序，让相同的行挨在一起。
2.  `uniq` 负责检查相邻的行，如果一样就只保留一份。

如果数据量巨大且在服务器上，这招绝对是性能之王，连打开 GUI 的等待时间都省了。

### 总结

面对杂乱文本，千万不要陷入机械性重复劳动的死循环。小文件用 Notepad++ 这种编辑器插件秒杀；大文件用 Python 或者命令行脚本批量处理；遇到复杂格式就用正则表达式清洗。

工欲善其事，必先利其器。掌握这几个方法，下次再遇到这种“垃圾山”，你也能在几分钟内把它们变成井井有条的宝贝资源。效率提升了，摸鱼的时间不就更多了吗？