메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
손시운 (강원대학교) 길명선 (강원대학교) 문양세 (강원대학교)
저널정보
Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제23권 제2호
발행연도
2017.2
수록면
128 - 133 (6page)

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

초록· 키워드

오류제보하기
최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.
#빅데이터 #아파치 하둡 #아파치 하이브 #로그 데이터 #이상 탐지 #Big Data #Apache Hadoop #Apache Hive #log data #anomaly detection

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 로그 데이터 관리를 위한 Hive 저장 구조
4. 이동 평균 및 3-시그마 기반 이상 탐지
5. 실험 및 평가
6. 결론 및 향후 연구
References

참고문헌 (11)

참고문헌 신청
J. Manyika, M. Chui, B. Brown, J. Bughin, R. Dobbs, C. Roxburgh, and A. Byers, Big Data: The Next Frontier for Innovation, Competition, and Productivity, Technical Report, McKinsey Global Institute, 2011. D. Cutting. (2010, May 8). Apache Hadoop [Online]. Available: http://hadoop.apache.org/ (downloaded 2015, Apr. 8). M. Massie. (2001). Ganglia Monitoring System [Online]. Available: http://ganglia.info/ (downloaded 2015, Apr. 8). Facebook. (2008, Aug.). Apache Hive [Online]. Available: https://hive.apache.org/ (downloaded 2015, Apr. 8). A. Thusoo, J. S. Sarma, N. Jain, Z. Shao, P. Chakka, S. Authony, H. Liu, P. Wyckoff, and R. Murthy, Hive: a Warehousing Solution over a Map-Reduce Framework, Proc. of the VLDB Endowment, Vol. 2, Issue 2, pp. 1626-1629, Aug. 2009.

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

이 논문과 함께 이용한 논문

하둡 기반의 Snort 로그 분석을 통한 반응형 네트워크 모니터링 시스템 설계 및 구현
신영성 ,  장재우 한국정보과학회 학술발표논문집 2016 .12
하둡 에코시스템기반 소셜 빅데이터 분석 시스템
최운 ,  서승현 ,  이한구 외 1명 한국통신학회 학술대회논문집 2016 .06
하둡 기반 불법 주·정차 데이터 관리 및 분석 시스템 개발
장진수 ,  송영호 ,  백나은 외 1명 한국컴퓨터정보학회 학술발표논문집 2017 .01
Local-Generator-Based Virtual Power Plant Operation Algorithm Considering Operation Time
Sung-Won Pa ,  k ,  Yong-Gi Pa 외 2명 Journal of Electrical Engineering & Technology 2017 .11
하둡을 이용한 번호판 인식 시스템
박진우 ,  박호현 전기전자학회논문지 2017 .06

최근 본 자료

전체보기

댓글(0)

0