지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 발행연도
- 2013
- 저작권
- 서울대학교 논문은 저작권에 의해 보호받습니다.
이용수1
이 논문의 연구 히스토리 (3)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
텍스트 데이터의 경우 사전에 등록이 되어 있지 않아 인식할 수 없는 단어 역시 노이즈(out-of-vocabulary)로 정의한다. 텍스트 데이터의 노이즈는 크게 두 종류로 나눌 수 있는데, 신조어나 약어, 전문용와와 같이 실제로 사용되지만 사전에 등록이 되어 있지 않는 경우와 오탈자와 같이 의도와 다르게 기술이 되어 인식하지 못하는 경우가 있다. 노이즈를 수작업으로 정제하는 것은 비용을 초래하고, 특정 도메인의 지식(background knowledge)을 필요로 하기도 한다. 텍스트 데이터의 노이즈 처리는 모든 분석의 사전 과정으로써, 이후 분석의 성능에 영향을 준다.
본 연구에서는 효율적으로 텍스트 데이터의 노이즈를 처리하는 방법에 대하여 제안한다. 연구에서 소개하는 방법은 네 단계로 이루어진다. 첫 단계에서 음절 단위의 콜로캐이션(collocation)을 이용하여 연관성이 있는 연속된 음절을 단어로 추출한다. 이를 위하여 전방향 점수(forward score), 후방향 점수(backwoard score), 확산보정 점수(dispersion point normalized score)의 세 가지 콜로캐이션 점수 계산 방법을 제안하였다. 두 번째 단계에서는 첫 단계에서 추출된 부분음절 중에서 단어의 후보를 선택한다. 세 번째 단계에서는 사용자가 추출된 단어의 후보들 중에서 사전에 추가할 단어를 선택한 뒤, 보완된 사전을 이용하여 사전에 등록되지 않은 표현인 노이즈를 판별한다. 네 번째 단계에서는 의도와 다른 형태로 기술된 텍스트 노이즈를 복원하기 위하여 보완된 사전을 이용하여 스트링 매치(string match)를 수행한다. 이를 통하여 의도와 다르게 기술된 텍스트 노이즈를 복원한다.
전자세금계산서에 입력된 업태 데이터의 노이즈를 제거하기 위하여 제안된 방법을 적용함으로써 본 연구가 실제로 유용함을 입증하였다. 사전을 보완하기 전과 비교하여 자동으로 추출된 단어를 이용하여 40.32% 의 노이즈를 처리하였다.
본 연구에서는 효율적으로 텍스트 데이터의 노이즈를 처리하는 방법에 대하여 제안한다. 연구에서 소개하는 방법은 네 단계로 이루어진다. 첫 단계에서 음절 단위의 콜로캐이션(collocation)을 이용하여 연관성이 있는 연속된 음절을 단어로 추출한다. 이를 위하여 전방향 점수(forward score), 후방향 점수(backwoard score), 확산보정 점수(dispersion point normalized score)의 세 가지 콜로캐이션 점수 계산 방법을 제안하였다. 두 번째 단계에서는 첫 단계에서 추출된 부분음절 중에서 단어의 후보를 선택한다. 세 번째 단계에서는 사용자가 추출된 단어의 후보들 중에서 사전에 추가할 단어를 선택한 뒤, 보완된 사전을 이용하여 사전에 등록되지 않은 표현인 노이즈를 판별한다. 네 번째 단계에서는 의도와 다른 형태로 기술된 텍스트 노이즈를 복원하기 위하여 보완된 사전을 이용하여 스트링 매치(string match)를 수행한다. 이를 통하여 의도와 다르게 기술된 텍스트 노이즈를 복원한다.
전자세금계산서에 입력된 업태 데이터의 노이즈를 제거하기 위하여 제안된 방법을 적용함으로써 본 연구가 실제로 유용함을 입증하였다. 사전을 보완하기 전과 비교하여 자동으로 추출된 단어를 이용하여 40.32% 의 노이즈를 처리하였다.
목차
제 1 장 서 론 1제 2 장 문제 정의 및 관련 연구 72.1. 연구의 필요성 및 연구 범위 72.2. 관련 연구 8제 3 장 제안된 연구 방법 123.1. 제안된 방법의 절차 123.2. 콜로캐이션을 이용한 부분음절 후보 추출 153.3. 부분음절로부터 단어 후보 추출 193.4. 단어 선택을 통한 사전 보완 및 노이즈 판단 213.5. 단어 추정을 위한 스트링 매치 21제 4 장 실험 284.1. 데이터 전처리 및 변수 설정 284.2. 실험 결과 314.3. 성능 평가 35제 5 장 결 론 375.1. 결론 375.2. 향후 연구 방향 38참고 문헌 40Abstract 44
최근 본 자료
댓글(0)
0