김해원 기자님께서 한국어 토큰 이라는 주제로 재밌게 기사를 작성해주셨습니다. 올해 벌써 2번째 AI타임스에 제 이름이 올라갈 수 있었네요.

기사의 전반적인 내용에 대해 답변드렸지만 이름이 인용된 부분은 아래와 같습니다.

“”” 이정민 ABLD 대표는 “토큰 효율을 높이겠다고 섣불리 토큰을 묶으면 범용 성능과 추론 효율이 오히려 떨어질 수 있다”라며 “한국어를 중심으로 효율화하면서도 실제 비즈니스 환경에서 자주 쓰는 표현을 안정적으로 처리할 수 있는 균형 잡힌 설계가 핵심” 이라고 강조했다. “””

간단하게 말씀드리면,

단순한 트릭으로

1. 조사나 문장 부호 뒤의 공백을 합쳐 하나의 토큰으로 간주하거나
2. 단어를 하나의 토큰으로 간주하면 일반적인 문장에 대한 전체적인 토큰 사용 수는 줄어듭니다.

다만 이 과정에서 각 토큰 별로 부족한 학습 데이터로 성능 저하 혹은 외래어, 유행어 등의 신규 언어 등장에 있어 대응 능력이 현저히 떨어질 수 있습니다.

제일 문제가 되는 것은 한글은 표음 문자이지만 한국어는 표의 문자에 해당하는 한자에 기반해 사용되는 용어도 많다는 것인데, 결국은 한국어 모델이라도 토큰 효율성보다 “성능” 이라는 지표에 집중해 코퍼스 내 데이터 간 관계성을 정의하는데 용이한 토크나이저 설계가 중요하다는 의미에서 말씀을 드린 내용이었습니다.

위 주제를 가지고 인터뷰 요청해주신 기자님께 감사의 말씀드립니다. 다른 기자님께서도 AI 관련 궁금증이 있으신 경우 언제든 연락주세요.