重复行删除
一键删除文本中的重复行，支持忽略大小写与排序。
使用说明
- 把需要去重的文本粘贴到输入框，每行一条记录。
- 按需勾选选项：忽略大小写、去除首尾空格、删除空行；默认保留首次出现的顺序，取消勾选「保留原始顺序」则按字母排序输出。
- 选择输出分隔符：换行或逗号，然后点击「去重」。
- 统计区显示原始行数、唯一行数与删除行数；下方输出框可一键复制结果，「清空」会重置输入与全部状态。
- 全部处理在浏览器本地完成，日志、名单等敏感文本不会离开你的设备。
常见问题
去重时保留哪一条重复行？
「忽略大小写」是如何比较的？
空行和只有空格的行怎么处理？
逗号分隔输出适合什么场景？
使用步骤
- 把文本按行粘贴到输入框
把关键词表、日志或邮箱名单逐行粘贴到输入框，一行一条。重复的内容不需要预先整理。
- 按需勾选四个处理选项
默认开启去首尾空格与删除空行。需要忽略大小写时勾选 Ignore case，让 Apple 与 apple 视为同一行。
- 选择换行或逗号作分隔符
Output separator 可选换行或逗号。换行适合继续逐行处理，逗号适合直接粘贴进表格或 SQL 的 IN 列表。
- 执行去重并查看统计数字
点击 Remove duplicates，统计区显示原始行数、唯一行数与删除行数。一眼确认清洗效果是否符合预期。
- 一键复制结果或清空重置
结果框的 Copy 按钮一键复制去重结果。处理下一批数据前，点 Clear 清空全部输入与输出。
工具详细介绍
重复行删除工具逐行比对文本，只保留每个重复项的首次出现，后续重复行全部丢弃。统计区给出原始行数、唯一行数与删除行数三项数字。支持忽略大小写、去除行首尾空格、删除空行，也可取消保持顺序改为字母排序输出，全部在浏览器本地完成。
适合清洗关键词表、订阅邮箱名单、URL 批量列表、日志行与问卷回收数据。多个来源合并后先去重再入库，超长的列表也能一次处理完毕。忽略大小写对邮箱去重尤其重要，可以合并只差大小写的重复地址，让名单真正干净。
原理与背景
去重的实现思路很直接：从上到下逐行扫描，用一个哈希集合记录出现过的行，再次遇到就跳过。整体是 O(n) 的线性操作，几万行也瞬间完成。判断相等之前先做两步预处理：去掉行首尾空白，再按需统一大小写。这两步决定了 Apple 与 apple 是否合并，也决定了藏在行中间的空格不会受影响。保留首次出现则保证结果里每一行都维持原始写法，后续处理不用重新核对格式。整套流程没有任何网络请求，处理含客户信息的名单也不必担心外泄。
命令行时代早有对应物。sort 配合 -u 参数一步完成排序去重，而 uniq 只压缩相邻重复行，必须先排序才能正常工作，这是新手常踩的坑。图形界面工具省掉了记参数的负担，还多出一个命令行不便给出的选择：保留原始顺序。日志分析与名单清洗常常依赖「第一次出现的位置」这条信息，排序会把它抹掉，所以两种模式各有去处，按数据用途选择即可。把两种模式各跑一遍再对比结果，也是核对清洗逻辑的简单办法。
典型使用场景
- 合并多渠道订阅名单
活动收集的邮箱来自表单、客服与线下登记多个渠道，合并后大小写混杂。勾选忽略大小写一次性清洗，再用统计数字核对删了多少行，直接得到可发送的名单。
- 清洗日志与爬虫输出
日志或爬虫抓到的地址列表常常大量重复。先去重再分析能明显缩小数据量，保留首次出现也保住了事件的时间顺序，方便接着排查问题，重复告警的噪音也随之减少。
- 数据库导入前去重
带唯一约束的表导入前必须先去重，否则插入中途失败回滚。把编号或邮箱列粘贴进来处理一遍，确认唯一行数与预期条数一致，再执行导入能省去事后排错的周折。
使用技巧
- 保持顺序模式只保留首次出现，排序模式先去重再按字母排序。两种都不会丢行。
- 忽略大小写时输出保留首次出现的原始写法，其余重复行会被整行删除。
- 行内本身含逗号时慎用逗号分隔输出。粘进表格前可能需要加引号转义。
注意事项
- 忽略大小写会误并变体
开启忽略大小写后，专有名词的大小写变体会被合并，例如 HTTP 与 http。名单里大小写本身有意义时，先关掉该选项再处理，避免误删有效行，必要时事后单独核对。
- 逗号输出的二次拆列
输出改用逗号分隔后，行内本身含逗号的数据粘进表格会被再次拆列。这类内容保持换行输出，或先给相关行加上引号再转换，统计数字不受影响。
- 空白与空行的取舍
默认删除空行并去掉行首尾空白，两行仅差一个尾部空格也会被合并。若空白本身是数据的一部分，先取消对应选项，否则删除行数会虚高，统计口径跟着变化。