지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2013.12
- 수록면
- 575 - 584 (10page)
이용수
초록· 키워드
오류제보하기
빅데이터 분석을 위해 활용되는 데이터로는 뉴스, 블로그, SNS, 논문, 특허 그리고 센서로부터 수집된 데이터 등 매우 다양한 유형의 데이터가 있다. 특히, 신뢰성 있는 데이터를 실시간 제공하는 웹 문서의 활용이 점차 확산되고 있다. 그리고 빅데이터의 활용이 다양한 분야로 점차 확산되고 웹 데이터가 매년 기하급수적으로 증가하면서 웹 문서를 자동으로 수집하는 웹 크롤러의 중요성이 더욱 커지고 있다. 하지만, 기존 크롤러들은 일부 사이트에서 수집된 웹 문서에 포함된 URL만을 기반으로 웹 문서를 수집하기 때문에 사이트 전체 웹 문서를 수집할 수 없는 문제를 가진다. 또한, 수집된 웹 문서에 대한 정보를 효율적으로 관리하지 못하기 때문에 중복된 웹 문서를 수집하는 문제를 가진다. 그래서 본 논문에서는 웹 사이트의 RSS와 Google Search API를 통해 기존 웹 크롤러의 문제를 해결하고 RMI와 NIO을 활용해 서버와 클라이언트 간 네트워크 연결을 최소화해 빠른 크롤링 기능을 제공하는 분산형 웹 크롤러를 제안한다. 또한, 제안하는 웹 크롤러는 웹 문서를 구성하는 태그들에 대한 키워드 유사도 비교를 통해, 분석에 활용되는 중요 콘텐츠만을 자동 추출하는 기능을 제공한다. 마지막으로, 기존 웹 크롤러와 제안하는 크롤러의 성능 평가 결과를 통해 제안하는 웹 크롤러의 우수성을 입증한다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 관련연구
Ⅲ. 제안하는 지능형 웹 크롤러
Ⅳ. 성능평가
Ⅴ. 결론 및 향후 연구
참고문헌
참고문헌 (22)
참고문헌 신청
1. [보고서] - 성원경 / 2013 / 과학기술 빅데이터 추진과제 발굴 및 활용 극대화를 위한 추진전략 마련 기획연구
3. [인터넷자원] - / / http://www.1000genomes.org
4. [인터넷자원] - / / http://www.smartinsight.co.kr
5. [인터넷자원] - / / http://www.energy.gov
6. [학술지(정기간행물)] - M. K. Lee / 2013 / InSciTe Advanced : Strategic Decision-Making Support Service based on Technology Opportunity Discovery Model / J. of Information An International Interdiscipli- nary 16 (1(B)) : 639 ~ 698
3. [인터넷자원] - / / http://www.1000genomes.org
4. [인터넷자원] - / / http://www.smartinsight.co.kr
5. [인터넷자원] - / / http://www.energy.gov
6. [학술지(정기간행물)] - M. K. Lee / 2013 / InSciTe Advanced : Strategic Decision-Making Support Service based on Technology Opportunity Discovery Model / J. of Information An International Interdiscipli- nary 16 (1(B)) : 639 ~ 698
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2015-004-001069602