🧹 텍스트 중복 제거

사용법

1. 정리할 목록을 한 줄에 하나씩 붙여넣습니다. 엑셀·구글 시트의 한 열을 복사하면 자동으로 줄 단위가 됩니다.
2. 비교 기준을 정합니다. 기본값은 대소문자와 앞뒤 공백을 무시해서 Apple과 apple 을 같은 항목으로 봅니다.
3. 필요하면 정렬 방식을 고르고, 결과를 copy해서 다시 엑셀에 붙여넣으세요. 제거된 줄 수는 결과 아래에 표시됩니다.

비교 기준 옵션

공백을 무시하는 옵션을 켜면 결과에도 앞뒤 공백이 정리된 값이 들어갑니다. 원본 그대로를 남기려면 두 공백 옵션을 끄세요. 중복이 여러 개 있을 때는 기본적으로 처음 나온 줄을 남기고, "마지막 줄을 남기기"를 켜면 가장 나중에 나온 줄을 그 위치에 남깁니다.

처리 원리와 예시

줄마다 비교용 키를 만들어요(대소문자 무시면 소문자로, 공백 무시면 공백을 지워서). 키가 처음 나온 줄만 남기고, 같은 키가 또 나오면 횟수만 1 올려요. 그래서 원래 순서가 유지되고 수만 줄도 한 번 훑어서 끝나요.

예시 버튼의 11줄을 기본 옵션(대소문자·앞뒤 공백 무시, 빈 줄 제거)으로 처리하면:

결과 아래에는 입력 11줄 · 고유 5줄 · 제거된 중복 5줄 · 중복 항목 4종류 · 빈 줄 제거 1이 표시돼요.

결과 보기 방식

• 고유한 줄 — 중복을 한 번씩만 남긴 목록입니다. SQL의 SELECT DISTINCT, 엑셀의 "중복된 항목 제거"와 같은 결과예요.
• 중복된 줄만 — 두 번 이상 나온 항목만 보여줍니다. 회원 명단의 중복 가입, 설문 중복 응답을 찾을 때 씁니다.
• 한 번만 나온 줄 — 딱 한 번 나온 항목만 남깁니다. 두 목록을 이어 붙인 뒤 이 옵션을 쓰면 한쪽에만 있는 항목(차집합의 합)을 찾을 수 있어요.
• 등장 횟수 표시를 켜면 줄 앞에 횟수와 탭이 붙습니다. 엑셀에 붙이면 횟수와 값이 두 열로 나뉘고, "많이 나온 순" 정렬과 함께 쓰면 빈도표가 됩니다.

정렬 기준

오름차순은 한국어 사전 순서를 따르고 숫자는 자연 정렬합니다. 그래서 item2가 item10보다 앞에 오고, 한글·영문·숫자가 섞여도 사람이 기대하는 순서에 가깝게 정렬됩니다. 길이순은 글자 수가 짧은 줄부터, 같으면 가나다순으로 놓습니다.

예시 계산 3가지

①에서 하이픈이 든 번호는 공백을 무시해도 다른 줄로 남아요. 하이픈·괄호까지 무시하려면 먼저 정규식 테스트에서 [-()\s]를 빈 문자열로 바꾸거나, 공백 제거기로 형식을 하나로 맞춘 뒤 붙여 넣으세요. ②의 '한 번만 나온 줄'을 고르면 반대로 park@c.com, choi@d.com만 남아요.

도구별 중복 제거 기준 비교

엑셀 결과와 개수가 다르다면 대부분 끝 공백 때문이에요. 이 도구는 기본으로 앞뒤 공백을 무시하므로, 엑셀과 똑같은 결과가 필요하면 '앞뒤 공백 무시'를 끄세요.

흔한 실수

• 보이지 않는 문자 — 웹에서 복사한 목록에는 줄바꿈 없는 공백(NBSP)이나 전각 공백이 섞여 있을 수 있어요. '모든 공백 무시'를 켜면 대부분 잡혀요.
• 정렬부터 하고 순서를 잃음 — 원래 순서가 중요한 명단(신청 순서)은 정렬을 '원래 순서'로 두세요. 이 도구는 처음 나온 위치를 기억해서 순서를 지켜요.
• 여러 열을 한꺼번에 붙여 넣기 — 이름·전화번호 두 열을 같이 붙이면 두 값이 모두 같아야 중복이에요. 전화번호로만 판단하려면 그 열만 복사하세요.
• 한 줄 안의 중복 — 사과, 배, 사과처럼 한 줄에 있는 건 못 지워요. 쉼표 목록은 텍스트 줄 정렬기의 '나누는 기준: 쉼표'로 중복 제거하면 결과도 쉼표로 이어져 나와요.

이럴 때 쓰세요

• 이메일·전화번호 명단 — 여러 행사의 참가자 명단을 합친 뒤 중복을 지우면 실제 인원을 셀 수 있습니다. 이메일은 대소문자를 구분하지 않으므로 "대소문자 무시"를 켜 두세요.
• 키워드·태그 목록 — 블로그 태그나 광고 키워드를 모으다 보면 같은 단어가 반복됩니다. "많이 나온 순" + "등장 횟수 표시"로 어떤 키워드가 자주 겹쳤는지도 함께 볼 수 있어요.
• 로그·코드 — 에러 로그에서 같은 메시지를 묶어 종류만 보거나, import 문·의존성 목록의 중복을 찾을 때 유용합니다.

비교는 줄 전체 단위로만 합니다. 쉼표로 구분된 한 줄 안의 중복은 먼저 줄바꿈으로 바꿔야 하고, 엑셀 여러 열을 함께 붙여넣으면 열 전체(탭 포함)가 같아야 중복으로 봅니다. 입력한 데이터는 브라우저 밖으로 전송되지 않습니다.

자주 묻는 질문

이 도구와 함께 보면 좋은 글

관련 도구