메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
배혜찬 (삼성전자) 이태휘 (서울대학교) 김형주 (서울대학교)
저널정보
Korean Institute of Information Scientists and Engineers 정보과학회논문지 : 데이타베이스 정보과학회논문지 : 데이타베이스 제40권 제4호
발행연도
2013.8
수록면
233 - 242 (10page)

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

초록· 키워드

오류제보하기
대용량 데이터의 처리, 분석을 위해 분산 프로그래밍 모델인 맵리듀스가 여러 분야에서 활용되고 있다. 그러나 맵리듀스는 조인 연산을 처리할 때 조인되지 않는 레코드들까지 맵퍼에서 리듀서로 전송하는데, 이는 불필요한 네트워크 비용을 발생시켜 조인 성능을 저하시킨다. 이러한 문제를 개선하기 위해 맵리듀스에서 블룸 필터를 사용하여 리듀서로 전송되는 레코드를 미리 여과하는 조인 방법이 제안되었다. 하지만 블룸 필터에 삽입되는 원소 데이터의 개수가 너무 많아지는 경우, 필터의 이점을 기대할 수 없으며 필터를 사용하기 위한 추가적인 비용으로 인하여 블룸 필터를 사용하지 않고 처리하는 것보다 오히려 성능이 더 저하될 수 있다. 이에 본 논문은 주기적으로 블룸 필터의 효율성을 검사하여 필터의 사용여부를 동적으로 결정하는 적응적 조인 연산 기법을 제안한다. 이를 위해, 우리는 필터에 삽입된 키의 개수를 활용하여 블룸 필터의 양성 오류율을 추정하고, 필터가 비효율적이라고 판단된 경우, 그 시점 이후로는 필터를 사용하지 않고 조인 연산을 처리하도록 한다. 실험을 통하여, 제안한 기법이 기본 맵리듀스 조인과 블룸 필터를 사용한 조인 중 보다 나은 성능을 보이는 연산 방법을 적응적으로 선택함으로써 안정적인 조인 성능을 보장함을 확인한다.
#맵리듀스 #블룸 필터 #양성 오류율 #조인 처리 #적응적 조인 #MapReduce #bloom filter #false positive rate #join processing #adaptive join

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 블룸 필터를 사용한 적응적 조인
4. 성능 평가
5. 결론 및 향후 연구
References

참고문헌 (15)

참고문헌 신청
1. [학술대회논문] - Jeffrey Dean / 2004 / MapReduce: Simplified Data Processing on Large Clusters / Proc. of the 6th USENIX Symposium on Operating Systems Design and Implementation (OSDI) : 137 ~ 150 google schola 2. [학술대회논문] - Spyros Blanas / 2010 / A Comparison of Join Algorithms for Log Processing in MapReduce / Proc. of the 2010 ACM SIGMOD International Conference on Management of Data (SIGMOD ’10) : 975 ~ 986 google schola 3. [학술지(정기간행물)] - Kyong-Ha Lee / 2011 / Parallel Data Processing with MapReduce: A Survey / Proc. of the ACM SIGMOD Record 40 (4) : 11 ~ 20 google schola 4. [학술대회논문] - Taewhi Lee / 2012 / Join Processing Using Bloom Filter in MapReduce / Proc. of the 2012 ACM Research in Applied Computation Symposium (RACS '12) : 100 ~ 105 google schola 5. [학술지(정기간행물)] - Burton H. Bloom / 1970 / Space/Time Trade-offs in Hash Coding with Allowable Errors / Communications of the ACM (CACM) 13 (7) : 422 ~ 426 google schola

이 논문의 저자 정보

이 논문과 함께 이용한 논문

맵리듀스 기반 스트리밍 세타 조인 알고리즘
손정민 ,  이정훈 ,  김영훈 외 1명 한국정보과학회 학술발표논문집 2013 .11
맵리듀스 기반의 암 특이적 단위 반복 변이 영역 추출
신재문 ,  홍상균 ,  공진화 외 2명 정보과학회논문지 : 데이타베이스 2013 .10
가상화 환경에서 리듀스 태스크 개수가 I/O 중심 맵리듀스 응용프로그램의 성능에 미치는 영향
김윤호 ,  정혜진 ,  최원석 외 2명 정보과학회논문지 : 컴퓨팅의 실제 및 레터 2013 .07
칼럼-지향 데이터베이스에서 스타 스키마 질의 성능 향상을 위한 조인기법
안수민 ,  김경창 정보과학회논문지 : 데이타베이스 2013 .06
빅 데이터를 위한 맵리듀스 프레임워크 기반의 효율적인 쿼드 트리 생성 기법
노현호 ,  민준기 정보과학회논문지 : 데이타베이스 2013 .06

최근 본 자료

전체보기

댓글(0)

0

UCI(KEPA) : I410-ECN-0101-2014-560-002914996