가중 나이브 베이즈 분류기 학습을 위한 최적화 접근법 :(An) optimization approach to learning weighted naive Bayesian classifier

김태흥

추천

검색

자료유형: 학위논문

저자정보: 김태흥 (성균관대학교, 성균관대학교 일반대학원)

지도교수: Kee-Won Kwon

발행연도: 2018

저작권: 성균관대학교 논문은 저작권에 의해 보호받습니다.

이용수34

이 논문의 연구 히스토리 (3)

2018

가중 나이브 베이즈 분류기 학습을 위한 최적화 접근법

김태흥 산업공학과 2018.01 학위논문

2017

불균형 데이터 분류를 위한 가중 나이브 베이지안 분류기의 새로운 학습 방법

김태흥 , 이종석 한국경영과학회 학술대회논문집 2017.04 학술대회자료

불균형 데이터 분류를 위한 가중 나이브 베이지안 분류기의 새로운 학습 방법

김태흥 , 이종석 대한산업공학회 춘계공동학술대회 논문집 2017.04 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

베이지안 의사결정 이론을 기반한 분류기법인 나이브 베이즈 분류기는 사후분포 추정의 단순화를 위해 훈련 데이터에 포함된 모든 변수는 조건부 독립이며, 동일한 중요도라는 비현실적인 가정을 갖는다. 이러한 가정에 의해 나이브 베이즈 분류기
는 종종 낮은 분류정확도를 보인다. 즉, 가정을 완화하는 것으로 나이브 베이즈의 분류 성능을 향상시킬 수 있다. 본 논문에서는 나이브 베이즈 분류기의 변수별 사후 확률에 서로 다른 가중치를 적용하는 것으로 변수별 서로 다른 중요도를 반영하
게 하여, 나이브 베이즈 분류기의 가정을 완화하고자 하였다.
공정에서 불량을 검출하거나, 질병을 진단하는 등과 같은 불균형 데이터는 균형 이 잡힌 데이터보다 더 많이 발생한다. 불균형 데이터 분류문제는 분류 정확도의 최대화를 기대하는 일반적인 분류기법을 사용할 시, 소수 클래스를 잘 분류하지 못
하는 분류기를 학습하게 된다. 이러한 문제는 나이브 베이즈 분류기법에도 동일하게 발생하는데, 이를 해결하고자 불균형 데이터 분류에 강한 가중 나이브 베이즈 분류기를 학습하는 기법을 제안하였다.
첫번째로 제안된 기법인 AUC-NB는 학습된 가중 나이브 베이즈 분류기의 AUC 성능을 최대화하고자 변수의 가중치를 변수별 AUC를 측정하여 부여하였다. 변수별 AUC는 단일 변수를 하나의 분류기로 가정하여 측정된 AUC 값으로, 해당변수 자체의 분류 능력을 의미한다. 또한 변수별 AUC를 기준으로 변수 선택법을 실시하여 모델의 복잡도를 감소시키는 시도를 하였다.
두번째로 제안하는 연구는 가중 나이브 베이즈 분류기의 학습을 최적화 문제로 정식화 하여 주어진 손실함수를 최소화하는 해를 가중치로 사용한다. 본 연구에서 제안하는 손실함수는 3종류로, Exponential loss, Binomial deviance 와 Binomial
deviance를 가중치의 최우추정량으로 수정한 손실함수이다. 3개의 손실함수를 각각 최소화 하는 것으로 3개의 서로 다른 가중 나이브 베이즈 분류기를 학습할 수 있다.
손실함수를 최소화하는 접근법이 뛰어난 분류 결과를 보였음에도 불구하고, 이
방법은 분류 오류의 최소화를 목적으로 설계되어 불균형 데이터 분류에 적합하지
않다. 불균형 데이터 분류문제를 위해 분류 정확도 기반의 손실함수가 아닌 AUC를
최대화하는 최적화 문제로 정식화 하는 세 번째 방법을 제안하였다. 또한 목적함수
에 정규화식을 추가하여 변수선택법과 변수중요도로서의 해석적인 기능을 강화하는
시도를 하였다. 실제 데이터를 이용한 분류 실험에서 제안된 분류기법들의 타당성
을 입증하였다.

The naive Bayesian classification, which is one of the most practical methods in supervised learning, has received great attention in the area of data mining and machine learning because of its simplicity and robustness. Based on Bayes’ theorem, a naive Bayesian classifier estimates a conditional joint probability of a set of attributes. To circumvent computational difficulties, it is assumed that each attribute is conditionally independent of every other attribute for a given class. This is the reason why the classifier is called “naive.” Another assumption of naive Bayesian classifiers is that all attributes are equally important in determining the classes of objects. Although there is no doubt that naive Bayesian classifiers perform well in many classification problems, they sometimes show poor performance due to unrealistic assumptions.
In practice, imbalanced data appears more frequently than balanced data in many medical, commercial, and financial problems. The aforementioned datasets have two common characteristics that they have two classes, and that the classes are unevenly distributed. In other words, they are subject to both binary classification and imbalanced data classification problems. In such classification problems, the minority class with fewer (or much fewer) instances is usually more interesting to research. However, traditional classification algorithms such as standard inductive learning models tend to result in a high predictive accuracy for the majority class and poor predictive accuracy for the minority class. This is due to the fact that the classifiers are trained to maximize overall accuracy to which the minority class contributes minimally.
In this research, three novel methods are suggested, which train a weighted naive Bayes as an optimization problem. Receiver Operating Characteristic (ROC) has been mostly used for comparing the classification performance among candidate classifiers in the class imbalanced domain. So, in order to achieve successful classification result in terms of ROC, it is reasonable to use ROC as a learning objective of the classifier. Therefore, in the first approach namely, AUC (Area Under ROC Curve) is directly incorporated into the weights in a naive Bayesian classification to maximize the overall AUC.
In the second approach, as a view of a gradient based non-linear optimization problem, three different variable weights are proposed by minimizing three different loss functions. Compared to the other metaheuristics approaches, the solution which comes from the loss minimization problem is more interpretable because the analytic properties of three loss functions will be provided. This approach also provides a hint for the next approach.
Although the second approach performs well in terms of classification accuracy, it may be a poor classifier when classifying minority examples in the class imbalance case. Therefore, a third approach is designed to maximize AUC. An approximated AUC is introduced because the function that calculates AUC is nonanalytic and has high computational cost.

#나이브 베이지안 분류기 #불균형 데이터 분류 #Receiver Operating Characteristic

Chapter 1. Introduction 1
1.1 Background 1
1.2 Research Purpose 3
1.3 Research Methods 5
1.4 Outlines of the dissertation 6
Chapter 2. Naive Bayesian Classification 7
2.1 Naive Bayesian classifier 7
2.2 Weighted naive Bayesian classifier 9
2.3 Existing weighting methods 11
Chapter 3. Proposed method: Heuristic optimization approach 13
3.1 Receiver operating characteristics 13
3.2 Weighting variances 16
3.3 Selecting attributes by AUC 19
3.4 Numerical Experiments 20
3.5 Chapter summary 28
Chapter 4. Proposed method: Training error minimization 29
4.1 Minimizing loss functions 29
4.2 Comparative studies 34
4.3 Numerical experiments 37
4.4 Chapter summary 45
Chapter 5. Proposed Method: AUC Maximization 46
5.1 RankOptAUC 47
5.2 RankOptNB 49
5.3 Attribute selection with RNB 51
5.4 Numerical experiments 55
5.5 Chapter summary 68
Chapter 6. Numerical Experiments 69
6.1 Experimental design 69
6.2 Results 72
Chapter7. Conclusion 80

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (3)

초록· 키워드

목차

최근 본 자료

댓글(0)