数据冗余：无处不在的隐形问题
在日常开发和数据处理中，重复数据几乎无处不在：日志文件中反复出现的相同错误行、CSV 导出中重复的记录、邮件列表中重复的地址、代码中重复的 import 语句。这些冗余数据不仅浪费存储空间，更会干扰分析和决策。
文本去重是数据清洗的第一道工序。本文将系统讲解三种核心去重模式及其适用场景。
配套工具：文本去重工具
一、三种去重模式详解
1.1 保留首次出现（First Occurrence）
当遇到重复行时，保留它在文本中第一次出现的位置，后续重复行被删除。这是最常用的去重模式。
输入： 输出：
苹果 苹果
香蕉 香蕉
苹果 橙子
橙子 葡萄
香蕉
葡萄特点：保持原始数据的出现顺序，适合需要追踪数据首次出现时间的场景。
1.2 保留末次出现（Last Occurrence）
当遇到重复行时，保留它最后一次出现的位置，之前的重复行被删除。
输入： 输出：
状态A 状态B
状态B 状态C
状态A 状态A
状态C
状态A特点：保留数据的最新状态，适合日志分析中需要获取同一条目最后状态的场景。注意：输出顺序仍按行在文本中的相对位置，末次出现的行保留在其最后出现的位置。
1.3 仅合并连续重复行（Adjacent Merge）
只合并相邻的重复行，不相邻的重复行会被保留。
输入： 输出：
A A
A B
B A
A C
C特点：保留原始数据的完整结构，仅消除连续冗余。适合处理日志中连续重复的行（如心跳日志、轮询日志），保留非连续重复以分析数据模式。
二、去重选项的使用场景
2.1 大小写敏感
| 选项 | ”Apple” 与 “apple” | 适用场景 |
|---|---|---|
| 开启 | 视为不同行，不去重 | 代码、文件名、区分大小写的标识符 |
| 关闭 | 视为重复行，去重 | 邮箱地址、用户输入数据、不区分大小写的标签 |
2.2 去除行首尾空白（Trim）
开启后，去重前先移除每行首尾的空格和制表符。这能避免因缩进不一致导致的去重失败——" apple" 和 "apple" 在 trim 后会被识别为重复行。
2.3 去除空行
开启后，去重前先过滤所有空行（包括只含空格的行）。适合清理格式不规整的导出数据，避免空行干扰统计。
2.4 去重后排序
开启后，去重结果按 Unicode 码点顺序排序。适合需要对结果进行比对、查重或生成有序列表的场景。关闭时保持去重后的原始出现顺序。
三、去重的底层实现原理
3.1 保留首次出现：Set 去重
使用 Set 数据结构记录已出现的行（或其比较键），遇到新行时检查是否已存在：
const seen = new Set();
const result = [];
for (const line of lines) {
const key = caseSensitive ? line : line.toLowerCase();
if (!seen.has(key)) {
seen.add(key);
result.push(line);
}
}时间复杂度 O(n)，空间复杂度 O(n)。Set 的 has 操作为 O(1)，整体性能优秀。
3.2 保留末次出现：Map 覆盖
使用 Map 按键存储行，相同键的后值覆盖前值，再按首次出现的键顺序输出：
const seen = new Map();
const order = []; // 记录键的首次出现顺序
for (const line of lines) {
const key = toKey(line);
if (!seen.has(key)) order.push(key);
seen.set(key, line); // 覆盖为最新值
}
const result = order.map(key => seen.get(key));用 order 数组记录键的首次出现顺序，确保输出稳定且不改变行的相对位置。
3.3 连续重复合并：相邻比较
只需比较当前行与前一行是否相同，无需额外数据结构：
const result = [];
for (const line of lines) {
const prev = result[result.length - 1];
if (prev === undefined || toKey(prev) !== toKey(line)) {
result.push(line);
}
}时间复杂度 O(n)，空间复杂度 O(n)（结果数组）。这是最轻量的去重模式。
四、典型应用场景
4.1 日志去重
服务器日志中常有连续重复的错误行或心跳行。使用”仅合并连续重复行”模式可压缩日志体积，同时保留非连续事件的时间线结构。若需统计独立错误类型，使用”保留首次出现”模式。
4.2 邮件列表清洗
从多个来源合并的邮件列表常有重复地址。关闭大小写敏感（User@Example.com 与 user@example.com 视为相同），开启 trim，使用”保留首次出现”模式即可得到去重后的纯净列表。
4.3 数据导出清理
CSV / TSV 导出数据可能包含重复记录。粘贴到工具中按行去重，配合”去除空行”选项清理格式问题，再用”去重后排序”选项生成有序结果。
4.4 代码片段整理
复制粘贴代码时常引入重复的 import 语句或配置项。按行去重可快速清理冗余，保持代码整洁。
五、去重与其他工具的配合
| 场景 | 工具组合 |
|---|---|
| 去重 + 差异对比 | 先用文本去重清理冗余，再用 Diff 对比比较两份数据 |
| 去重 + 统计分析 | 先用文本去重去重，再用文本统计分析统计词频 |
| 去重 + 命名转换 | 先用文本去重清理重复，再用大小写转换统一格式 |
| 去重 + 排序 | 开启”去重后排序”选项，一步完成去重与排序 |
六、性能与隐私
- 时间复杂度：三种模式均为 O(n)，其中 n 为输入行数。即使处理十万级行数也能在毫秒级完成
- 空间复杂度：O(n)，仅存储去重结果与已见键集合
- 隐私保障：所有去重处理在浏览器本地执行，输入文本不离开你的设备，可离线使用
总结
文本去重的核心在于选择正确的模式：保留首次出现适合保持顺序、保留末次出现适合获取最新状态、仅合并连续重复适合保留数据结构。配合大小写敏感、trim、去除空行、排序等选项，可以应对绝大多数数据清洗场景。
选择工具时，优先考虑数据是否需要保持原始顺序、是否区分大小写、是否需要保留非连续重复——这些决策点决定了去重策略的正确性。