지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- 대한전자공학회 IEIE Transactions on Smart Processing & Computing IEIE Transactions on Smart Processing & Computing Vol.10 No.3
- 발행연도
- 2021.6
- 수록면
- 227 - 232 (6page)
- DOI
- 10.5573/IEIESPC.2021.10.3.227
이용수
초록· 키워드
오류제보하기
In a smart grid, massive amounts of data are generated during the production, transmission, and consumption of electricity. Often, complex and varied queries with multiple join and selection operations need to be run on such data. Several studies have focused on improving the performance of query evaluation by applying machine learning techniques to query optimization problems. However, these studies are limited to processing queries for data in a single environment. In this paper, we propose a Proximal Policy Optimization (PPO)-based join order optimization model for use on Spark SQL to improve the retrieval performance for large amounts of data. The model uses the cost computation method of Spark SQL for training with the costs of the join plans generated by the model as rewards. The model can find more join plans with lower costs than the plans that Spark SQL finds because Spark SQL is limited to a low search space. We demonstrate that the proposed model generates join plans with similar or lower costs than Spark SQL without executing the optimization algorithm of Spark SQL.
목차
Abstract
1. Introduction
2. Related Work
3. PPO-based Join Order Optimization
4. Performance Evaluation
5. Conclusion
References
참고문헌 (11)
참고문헌 신청
S-Y Jeong, et al. "Efficient Network Administration for Smart Grid Data Center", In: 2020 22nd International Conference on Advanced Communication Technology (ICACT), p. 48-51, 2020. Article (CrossRefLink)
R. Marcus, et al. “Deep reinforcement learning for join order enumeration”, Proceedings of the First International Workshop on Exploiting Artificial Intelligence Techniques for Data Management, pp. 1-4, 2018. Article(CrossRefLink)
R. Marcus, et al. "Towards a hands-free query optimizer through deep learning", arXiv preprint arXiv:1809.10212, 2018. Article(CrossRefLink)
ORTIZ, Jennifer, et al. "Learning state representations for query optimization with deep reinforcement learning.", In: Proceedings of the Second Workshop on Data Management for End-To-End Machine Learning, p. 1-4, 2018. Article (CrossRefLink)
HEITZ, et al. "Join Query Optimization with Deep Reinforcement Learning Algorithms", arXiv preprint arXiv:1911.11689, 2019. Article(CrossRefLink)
R. Marcus, et al. “Deep reinforcement learning for join order enumeration”, Proceedings of the First International Workshop on Exploiting Artificial Intelligence Techniques for Data Management, pp. 1-4, 2018. Article(CrossRefLink)
R. Marcus, et al. "Towards a hands-free query optimizer through deep learning", arXiv preprint arXiv:1809.10212, 2018. Article(CrossRefLink)
ORTIZ, Jennifer, et al. "Learning state representations for query optimization with deep reinforcement learning.", In: Proceedings of the Second Workshop on Data Management for End-To-End Machine Learning, p. 1-4, 2018. Article (CrossRefLink)
HEITZ, et al. "Join Query Optimization with Deep Reinforcement Learning Algorithms", arXiv preprint arXiv:1911.11689, 2019. Article(CrossRefLink)
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Spark SQL의 Join 전략 선택에 대한 평가와 개선 방안
한국정보과학회 학술발표논문집
2024 .06
-
스마트 그리드에서 DQN 기반 Spark SQL 조인 순서 최적화
대한전자공학회 학술대회
2020 .08
-
Spark SQL에서 셔플 파티션 수에 영향을 받는 쿼리 특성 분석
한국정보과학회 학술발표논문집
2023 .06
-
SQL-BERT: Text-to-SQL용 임베딩 모델
한국정보과학회 학술발표논문집
2024 .06
-
다국어 BERT를 활용한 한국어 자연어 질의의 SQL 변환
대한산업공학회지
2022 .02
-
SQL Query Predicate Attribute Values Count and Scrutiny Method for Detecting and Preventing SQL Injection Attacks in Web Applications
한국정보과학회 학술발표논문집
2017 .12
-
실행계획 분석을 이용한 SQL Injection 공격 대응방안
전자공학회논문지
2016 .02
-
자연어 기반 SQL문 생성을 위한 칼럼 예측 모델
한국정보과학회 학술발표논문집
2018 .06
-
자율적 SQL 학습을 위한 챗봇
한국정보과학회 학술발표논문집
2018 .12
-
SQL 실습을 위한 온라인 저지 시스템
한국정보과학회 학술발표논문집
2016 .06
-
자연언어 문장에서 SQL 질의로 번역하는 기술 동향
정보과학회지
2020 .08
-
다양한 크기의 데이터 환경에서 SQL-On-Hadoop의 조인 질의 성능평가
한국정보과학회 학술발표논문집
2016 .06
-
거대언어모델을 활용한 Text2SQL
한국정보과학회 학술발표논문집
2024 .12
-
관계 DBMS에서 SQL 기반 그래프 패턴 질의 성능
한국정보기술학회논문지
2019 .04
-
GPS 사진 미디어 질의를 위한 SQL의 확장
대한공간정보학회 학술대회
2017 .10
-
SQL 시험 자동 채점 시스템
한국컴퓨터정보학회 학술발표논문집
2015 .07
-
문맥 학습 기반 데이터베이스 스키마 구조를 반영한 Text-to-SQL 검색 증강 생성 기법
한국지능시스템학회 논문지
2024 .10
-
A CNN-based Column Prediction Model for Generating SQL Queries using Natural Language
Journal of KIISE
2019 .02
-
크라우드 소싱 공간 비디오 DB에서 SQL 기반 딥러닝 공간 질의 지원
대한공간정보학회 학술대회
2022 .05
-
GPU 가속 기반 SQL 엔진의 성능 분석에 관한 연구
한국정보과학회 학술발표논문집
2020 .07
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0