지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.45 No.3
- 발행연도
- 2018.3
- 수록면
- 280 - 287 (8page)
- DOI
- 10.5626/JOK.2018.45.3.280
이용수
초록· 키워드
오류제보하기
최근 추천시스템과 데이터 분석 분야에서 고차원 형태의 텐서를 이용하는 연구가 증가하고 있다. 이는 고차원의 데이터인 텐서 분석을 통해 더 많은 잠재 요소와 잠재 패턴을 추출가능하기 때문이다. 그러나 고차원 형태인 텐서는 크기가 방대하고 계산이 복잡하기 때문에 텐서 분해를 통해 분석해야한다. 기존 텐서 도구들인 rTensor, pyTensor와 MATLAB은 단일 시스템에서 작동하기 때문에 방대한 양의 데이터를 처리하기 어렵다. 하둡을 이용한 텐서 분해 도구들도 있지만 처리 시간이 오래 걸린다. 따라서 본 논문에서는 인 메모리 기반의 빅데이터 시스템인 아파치 스파크를 기반으로 하는 텐서 분해 도구인 S-PARAFAC을 제안한다. S-PARAFAC은 텐서 분해 방법 중 PARAFAC 분해에 초점을 맞춰 아파치 스파크에 적합하게 변형하여 텐서 분해를 빠르게 분산 처리가능 하도록 하였다. 본 논문에서는 하둡을 기반의 텐서 분해 도구와 S-PARAFAC의 성능을 비교하여 약 4～25배 정도의 좋은 성능을 보였다.
목차
요약
Abstract
1. 서론
2. 관련연구
3. S-PARAFAC 텐서 분해
4. 실험
5. 결론 및 향후연구
References
참고문헌 (18)
참고문헌 신청
Apache Hadoop [Online] Available: https://hadoop. apache.org/
Apache Spark [Online]. Available: https://spark. apache.org/
Apache Mahout [Online]. Availabe: http://mahout.apache.org/
MATLAB Tensor ToolBox [Online], Available: http:// www.sandia.gov/~tgkolda/TensorToolbox/index-2.6 .html
PyTensor: A Python based Tensor Library [Online]. Available: http://www.cs.cmu.edu/~cjl/papers/CMUCS- 10-102.pdf
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
용존유기물질 형광 특성 비교를 위한 PARAFAC 기법의 순차적 적용
대한환경공학회지
2023 .02
-
아파치 스파크에서의 PARAFAC 분해 기반 텐서 재구성을 이용한 추천 시스템
멀티미디어학회논문지
2019 .04
-
Prep-SEC와 EEM-PARAFAC을 이용한 분자량에 따른 휴믹물질의 구리 결합 특성 연구
대한환경공학회 학술발표논문집
2020 .11
-
휴대전화 빅데이터 유동인구 자료의 텐서 분해를 통한 시공간 패턴 분석
대한공간정보학회 학술대회
2020 .06
-
EEM-PARAFAC을 이용한 하천 퇴적 유기물 공극수 성상 비교
대한환경공학회 학술발표논문집
2016 .11
-
Insight into Photocatalytic Degradation of Dissolved Organic Matter in UVA/TiO₂ Systems Revealed by Fluorescence EEM-PARAFAC
대한환경공학회 학술발표논문집
2015 .10
-
Adsorption Behavior of Landfill Leachate upon Granular Activated Carbon Investigated by Fluorescence Excitation Emission Matrix(EEM)-Parallel Factor Analysis (PARAFAC)
대한환경공학회 학술발표논문집
2015 .10
-
제한된 메모리 환경에서의 아파치 스파크 성능 비교
한국컴퓨터정보학회 학술발표논문집
2016 .01
-
빅 데이터 분석을 위한 아파치 스파크 성능 비교 분석
한국지능정보시스템학회 학술대회논문집
2016 .08
-
저차원 텐서 분해법을 활용한 지각 손실 함수 압축 기법
한국통신학회 학술대회논문집
2019 .06
-
텐서플로 소개
설비저널
2022 .06
-
EEM-PARAFAC (Excitation-Emission Matrices Parallel Factor Analysis)을 활용한 기원별 휴믹물질의 TiO₂/UV 광분해 특성 및 THMFP(Trihalo-Methane Formation Potential) 변화 비교
대한환경공학회 학술발표논문집
2016 .11
-
실시간 데이터 처리를 위한 아파치 스파크 기반 기계 학습 라이브러리 성능 비교
한국컴퓨터정보학회 학술발표논문집
2017 .01
-
텐서플로를 이용한 선형 회귀
설비저널
2022 .10
-
연속체역학의 텐서 전개
대한조선학회지
2023 .09
-
아파치 스파크 기반의 대용량 정형 데이터 결합 시스템
한국정보과학회 학술발표논문집
2024 .06
-
아파치 스파크 기반 분산 인메모리 환경에서의 로지스틱 회귀분석 성능 비교
한국정보과학회 학술발표논문집
2015 .06
-
아파치 스파크 기반 빅데이터 처리 프레임워크 성능 최적화 요소 분석
한국정보과학회 학술발표논문집
2020 .07
-
뉴스 데이터 분석을 위한 이벤트 기반 신경텐서망
한국정보과학회 학술발표논문집
2018 .12
-
TeT: Distributed Tera-Scale Tensor Generator
Journal of KIISE
2016 .08
이 논문의 저자 정보
이 논문과 함께 이용한 논문
아파치 스파크 기반 검색엔진의 설계 및 구현
박기성
,
최재현
,
김종배
외 1명
한국정보통신학회논문지
2017
.01
하둡 맵리듀스 튜닝을 통한 기계학습 성능 개선
전성환
,
정혜진
,
나연묵
한국정보과학회 학술발표논문집
2017
.12
하둡 기반 뉴스 사회망 분석 시스템 설계 및 구현
김수영
,
이덕기
한국지능정보시스템학회 학술대회논문집
2017
.08
아파치 스파크 기반 스마트 양어장 시스템
박준우
,
조용진
,
정명종
한국정보과학회 학술발표논문집
2017
.06
Apache Spark를 이용한 머신러닝 빅데이터 교육 플랫폼
이장열
,
남춘성
,
신동렬
한국정보과학회 학술발표논문집
2017
.06
최근 본 자료
댓글(0)
0