메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
구본근 (한국교통대학교)
저널정보
한국정보기술학회 한국정보기술학회논문지 한국정보기술학회논문지 제10권 제10호
발행연도
2012.10
수록면
69 - 78 (10page)

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

초록· 키워드

오류제보하기
Hadoop은 MapReduce 프로그래밍 모델과 HDFS 분산 파일 시스템으로 구성되어 있어 빅 데이터 처리에 적합한 프레임워크이다. 이러한 특징은 HDFS 블록보다 작은 크기의 스몰 데이터 처리에도 Hadoop을 이용함으로써 처리 시간을 단축시킬 수 있는 가능성을 가지고 있다. 그러나 Hadoop의 Map 태스크 스케줄링 정책상 HDFS 블록 단위로 Map 태스크가 스케줄링되기 때문에 스몰 데이터는 클러스터 규모와 상관없이 한 개의 Map 태스크만 할당되어 클러스터의 계산 능력을 효과적으로 이용하지 못하는 문제점을 가지고 있다. 이 문제를 해결하기 위해 본 논문에서는 파일 가상 확장 기법인 FiVE기법을 제안한다. FiVE 기법은 HDFS 블록 크기보다 작은 스몰 데이터를 클러스터의 가용 Map 태스크 수만큼 가상 HDFS 블록으로 확장하여 모든 가용 Map 태스크가 스케줄링되어 데이터를 처리하게 함으로써 처리의 병렬성을 극대화할 수 있다. 본 논문에서 제안하는 FiVE 기법이 스몰 데이터 처리 시간 단축에 효과가 있음을 보이기 위해 이를 적용한 Mandelbrot Set을 계산하는 Hadoop 응용 프로그램을 작성하고, 성능 평가를 하였다. 성능 평가 결과에 의하면 본 논문에서 제안하는 파일 가상 확장 기법 FiVE가 Hadoop을 이용한 스몰 데이터 처리에 효과가 있었다.
#hadoop #cluster #input format #small data #virtual expanding #HDFS #FiVE

목차

요약
Abstract
Ⅰ. 서론
II. 연구 배경
III. 파일 가상 확장 기법
IV. 파일 가상 확장 기법의 구현
V. 성능 평가
VI. 결 론
참고문헌

참고문헌 (12)

참고문헌 신청
1. [인터넷자원] - / / Big Data google schola 2. [학술지(정기간행물)] - 정성우 / 2012 / 빅데이터 개요와 관련기술, 그리고 오라클의 지원 전략 / 정보처리학회지 19 (3) : 29 ~ 36 google schola 3. [학술지(정기간행물)] - Jeffrey Dean / 2008 / MapReduce: Simplified Data Processing on Large Glusters / Communications of the ACM 51 (1) : 107 ~ 113 google schola 4. [단행본] - Tom White / 2011 / Hadoop : The Definitive Guide / O'REILLY : 1 ~ 13 google schola 6. [학술대회논문] - Chen He / 2011 / Matchmaking: A New MapReduce Scheduling Technique / Proceedings of CloudCom'11 : 40 ~ 47 google schola

이 논문의 저자 정보

이 논문과 함께 이용한 논문

파일 크기를 고려한 하둡 환경 설정 최적화
최성운 ,  박승훈 ,  최현수 외 1명 대한전자공학회 학술대회 2013 .07
[분산 데이타베이스] Hadoop 분산 파일 시스템의 효과적인 저장 공간 절약 기법
안후영 ,  이경하 ,  이수호 외 3명 정보과학회논문지 : 컴퓨팅의 실제 및 레터 2013 .03
Hadoop 클러스터를 위한 모니터의 설계 및 구현
금태훈 ,  이원주 ,  전창호 전자공학회논문지-CI 2012 .01
하둡 분산 파일 시스템을 위한 효율적인 데이터 분산 저장 기법
최성진 ,  전대석 ,  배대극 외 1명 한국정보과학회 학술발표논문집 2011 .06
러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석
곽재혁 ,  김상완 ,  허태상 외 1명 정보과학회 컴퓨팅의 실제 논문지 2015 .08

최근 본 자료

전체보기

댓글(0)

0

UCI(KEPA) : I410-ECN-0101-2014-566-001092553