🇰🇷 한국어 불용어/조사/어미 처리 유틸 소개

🇰🇷 한국어 불용어/조사/어미 처리 유틸 소개

한국어 텍스트 마이닝이나 NLP 전처리를 하다 보면 꼭 맞닥뜨리는 문제가 있습니다.
바로 불용어(stopword)와 조사/어미 처리 문제입니다.

영어에서는 단순히 a, an, the, of, in … 같은 불용어를 걸러내면 되지만, 한국어는 조사(이/가, 을/를, 은/는 …)나 어미(-다, -니다, -했어요 …)가 단어 뒤에 붙는 교착 구조이기 때문에 조금 더 정교한 처리가 필요합니다.

이 글에서는 간단한 불용어 사전과 조사/어미 스트리핑 로직을 구현한 한국어 불용어 처리 유틸 를 소개합니다.

1. 전체 코드

아래 TypeScript 유틸을 그대로 가져다 쓸 수 있습니다.

// eslint-disable
/**
 * 한국어 불용어/조사/어미 처리 유틸 (v2)
 * - 카테고리별 배열 -> 최종 Set로 병합
 * - 조사/어미 스트리핑 옵션
 * - 구어/표준 동시 커버
 */

// 2.1 카테고리별 원천 목록
const JOSA = [
  '이','가','을','를','은','는','의','에','에서','에게','께','께서',
  '로','으로','와','과','랑','하고','도','만','뿐','까지','부터',
  '마다','마저','조차','밖에','이나','나','이나마','나마','만큼','대로','처럼','같이','뿐만',
];
const PRONOUNS = [
  '나','너','저','그','이','우리','너희','저희',
  '그들','이들','저들',
  '이것','그것','저것','이거','그거','저거',
  '여기','거기','저기',
  '누구','누가','아무','아무나','아무도',
  '걔','쟤','걔네','쟤네'
];
const CONJUNCTIONS = [
  '그리고','및','또는','혹은','그러나','하지만','그래도',
  '그런데','근데','그래서','따라서','그러니까','그니까','즉','또','또한'
];
const FUNCTION_WORDS = [
  '것','거','수','등','및','때','곳','사람','일','말','중','내',
  '점','경우','부분','상태','정도','자료','내용','문제','형태',
  '관계','현재','당시','예','예시','대표','기본','일반','대해','관련',
  '위','아래','앞','뒤','안','밖','왼쪽','오른쪽','가운데','중간','사이'
];
const TEMPORALS = [
  '오늘','어제','내일','지금','방금','최근','요즘','현재','예전','과거','이후','이전','앞으로','곧'
];
const NUMBERS_NATIVE = ['하나','둘','셋','넷','다섯','여섯','일곱','여덟','아홉','열','스물','서른','마흔','쉰','예순','일흔','여든','아흔'];
const NUMBERS_SINO = ['일','이','삼','사','오','육','칠','팔','구','십','백','천','만','억','조'];
const ORDINALS = ['첫','첫째','둘째','셋째','넷째','다섯째','여섯째','일곱째','여덟째','아홉째','열째'];
const INTENSIFIERS = ['매우','너무','아주','정말','진짜','참','꽤','상당히','그다지','별로','가장','더','덜','최고','최대','최소','최저','평균'];
const COPULA_AUX = [
  '이다','아니다','있다','없다','되다','하다','같다','싶다','싶어하다'
];
const ADJ_COMMON = [
  '좋은','나쁜','중요한','필요한','유용한','효과적인','효율적인','적절한','적합한','부적절한','부적합한',
  '새로운','오래된','최신','구식','현대','전통','고전','현대적','전통적','보통','평범','특별','특수','일반'
];
const DETERMINERS = ['모든','전체','각','개별','특정','다양한','여러','각종'];
const CONNECTIVES_NOUN = ['때문','때문에','덕분','바람에','통해','을통해','를통해'];

const ENDINGS = [
  '다','니다','습니다','합니다','했다','하였다','했다가','했다며','한다','한다면',
  '해요','했어요','했었어요','했음','함','임','중','되었음','되었습니다'
];

// 2.3 옵션 타입
export type StopwordOptions = {
  includeAdjectives?: boolean;
  includeEndingsStrip?: boolean;
  includeCopulaAux?: boolean;
  extraStopwords?: string[];
  excludeStopwords?: string[];
};

// 2.4 불용어 세트 생성
export function buildKoreanStopwordSet(opts: StopwordOptions = {}) {
  const {
    includeAdjectives = true,
    includeEndingsStrip = true,
    includeCopulaAux = true,
    extraStopwords = [],
    excludeStopwords = [],
  } = opts;

  const buckets: string[][] = [
    JOSA,
    PRONOUNS,
    CONJUNCTIONS,
    FUNCTION_WORDS,
    TEMPORALS,
    NUMBERS_NATIVE,
    NUMBERS_SINO,
    ORDINALS,
    INTENSIFIERS,
    DETERMINERS,
    CONNECTIVES_NOUN,
  ];
  if (includeCopulaAux) buckets.push(COPULA_AUX);
  if (includeAdjectives) buckets.push(ADJ_COMMON);
  if (extraStopwords.length) buckets.push(extraStopwords);

  const set = new Set<string>();
  for (const group of buckets) {
    for (let w of group) {
      if (!w) continue;
      set.add(w.trim());
      if (w === '것') set.add('거');
      if (w === '그리고') set.add('그리구');
    }
  }
  for (const keep of excludeStopwords) set.delete(keep.trim());
  return { set, includeEndingsStrip };
}

// 2.5 텍스트 정규화
export function normalizeKo(text: string) {
  return text
    .normalize('NFKC')
    .replace(/[“”‘’]/g, '"')
    .replace(/[^\p{L}\p{N}\s]/gu, ' ')
    .replace(/\s+/g, ' ')
    .trim();
}

// 조사/어미 패턴
const JOSA_PATTERN = new RegExp(
  `^(.*?)(?:${JOSA.map(x => x.replace(/[.*+?^${}()|[\]\\]/g, '\\$&')).join('|')})$`
);
const ENDING_PATTERN = new RegExp(
  `^(.*?)(?:${ENDINGS.map(x => x.replace(/[.*+?^${}()|[\]\\]/g, '\\$&')).join('|')})$`
);

// 2.6 조사/어미 스트리핑
function stripJosa(token: string) {
  const m = token.match(JOSA_PATTERN);
  return m ? m[1] : token;
}
function stripEnding(token: string) {
  const m = token.match(ENDING_PATTERN);
  return m ? m : token;
}

// 2.7 토크나이즈 + 불용어 필터
export function tokenizeAndFilterKo(input: string, opts?: StopwordOptions): string[] {
  const { set, includeEndingsStrip } = buildKoreanStopwordSet(opts);
  const text = normalizeKo(input);
  const roughTokens = text.split(' ').filter(Boolean);
  const out: string[] = [];

  for (let tk of roughTokens) {
    if (tk.length === 1 && set.has(tk)) continue;

    let stem = stripJosa(tk);
    if (includeEndingsStrip) stem = stripEnding(stem);

    if (stem === '거') stem = '것';
    if (set.has(stem)) continue;
    if (stem.length <= 1) continue;

    out.push(stem);
  }
  return out;
}

// 2.8 사용 예시
/*
const example = "우리 모두가 오늘은 정말 중요한 내용을 자세히 그리고 천천히 살펴봅시다.";
console.log(tokenizeAndFilterKo(example));
// 예상: ["중요", "내용", "자세히", "천천히", "살펴보"]
*/

2. 사용법

import { tokenizeAndFilterKo } from "./stopwords-ko";

const text = "우리 모두가 오늘은 정말 중요한 내용을 자세히 살펴봅시다.";
console.log(tokenizeAndFilterKo(text));

➡️ 출력 예시

["중요", "내용", "자세히", "살펴보"]

3. 카테고리별 불용어 분류

불용어는 목적에 따라 선택적으로 사용될 수 있도록 여러 카테고리로 나누었습니다:

• 조사(JOSA): "이/가, 을/를, 은/는, 와/과 …"
• 대명사(PRONOUNS): "나, 너, 우리, 이것, 저것, 누구 …"
• 접속사(CONJUNCTIONS): "그리고, 하지만, 따라서 …"
• 기능어(FUNCTION_WORDS): "것, 수, 경우, 문제, 관계 …"
• 시간 표현(TEMPORALS): "오늘, 내일, 지금, 요즘 …"
• 수사(NUMBERS): 고유어/한자어 수사 ("하나, 둘… / 일, 이, 삼…")
• 정도부사(INTENSIFIERS): "매우, 너무, 정말, 가장 …"
• 계사/보조동사(COPULA_AUX): "이다, 아니다, 있다, 되다 …"
• 형용사(ADJ_COMMON): "중요한, 유용한, 새로운, 오래된 …"
• 한정사(DETERMINERS): "모든, 각, 특정, 여러 …"

옵션에 따라 형용사/보조동사 포함 여부를 두어, 도메인별 커스터마이즈가 가능합니다.

4. 불용어 세트 빌드

여러 bucket을 합쳐서 최종 Set<string>으로 만듭니다.

const { set, includeEndingsStrip } = buildKoreanStopwordSet({
  includeAdjectives: true,   // 형용사 포함 여부
  includeEndingsStrip: true, // 어미 스트리핑 여부
  includeCopulaAux: true,    // 계사/보조동사 제거 여부
  extraStopwords: ['특히', '그리고나서'], // 사용자 추가
  excludeStopwords: ['중요한']            // 특정 단어 제외
});

이렇게 하면 필요한 불용어만 걸러내고 중요한 키워드는 보존할 수 있습니다.

3. 조사/어미 스트리핑

예를 들어 "내용을"이라는 토큰을 받으면, stripJosa()가 "내용"만 남기고 조사 을을 제거합니다.
마찬가지로 "살펴봅시다"는 stripEnding()을 통해 "살펴보"까지 줄어듭니다.

function stripJosa(token: string) {
  const m = token.match(JOSA_PATTERN);
  return m ? m[1] : token; 
}

5. 메인 파이프라인

최종적으로 텍스트 입력을 받아 토큰화 + 정규화 + 불용어 제거 + 조사/어미 스트리핑을 수행합니다.

export function tokenizeAndFilterKo(input: string, opts?: StopwordOptions): string[] {
  const { set, includeEndingsStrip } = buildKoreanStopwordSet(opts);
  const text = normalizeKo(input);
  const roughTokens = text.split(' ').filter(Boolean);
  const out: string[] = [];

  for (let tk of roughTokens) {
    if (set.has(tk)) continue;       // 불용어 제거
    let stem = stripJosa(tk);        // 조사 제거
    if (includeEndingsStrip) stem = stripEnding(stem); // 어미 제거
    if (stem.length > 1 && !set.has(stem)) out.push(stem);
  }
  return out;
}

6. 활용 포인트

• 한국어 자연어 처리(NLP) 전처리 단계에서 바로 사용 가능
• 검색엔진 키워드 추출 / 토픽 분석 / TF-IDF / 워드클라우드 등 활용
• 불용어 리스트를 도메인(뉴스, 블로그, 리뷰…) 맞게 확장/축소 가능

7. 주의사항

• 완벽한 형태소 분석기가 아니므로, 일부 복잡한 조사·어미는 제거가 불완전할 수 있음
• "중요한" → "중요"와 같이 어근 복원(stemming)이 필요한 경우는 추가 처리가 필요
• 한 글자 단어 중 "것" 등을 보존할지 여부는 상황에 맞게 조정 필요

✍️ 결론:
이 유틸은 가볍게 적용할 수 있는 불용어 필터 \& 조사/어미 정리기입니다.
품사 태깅이나 형태소 분석기가 부담스럽거나 과한 경우, 빠르게 전처리 단계에서 적용할 수 있는 실용적인 도구라고 보시면 됩니다.