지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.10
- 수록면
- 1,403 - 1,413 (11page)
이용수
초록· 키워드
오류제보하기
In this paper, we investigate automated data validation techniques for artificial intelligence training, and also disclose open-source frameworks, such as Google"s TensorFlow Data Validation (TFDV), that support automated data validation in the AI model development process. We also introduce an experimental study using public data sets to demonstrate the effectiveness of the open-source data validation framework. In particular, we presents experimental results of the data validation functions for schema testing and discuss the limitations of the current open-source frameworks for semantic data. Last, we introduce the latest studies for the semantic data validation using machine learning techniques.
목차
ABSTRACT
1. 서론
2. 인공지능 데이터 품질검증
3. 오픈소스 데이터 품질검증 프레임워크
4. 의미론적 데이터 검증 기법
5. 결론
REFERENCE
참고문헌 (23)
참고문헌 신청
E. Caveness, et al., “Tensorflow Data Validation: Data Analysis and Validation in Continuous ML Pipelines,” Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data. pp. 2793-2794, 2020.
A. Jain, et al., “Overview and Importance of Data Quality for Machine Learning Tasks,” Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. pp. 3561-3562, 2020.
A. Paleyes, R.-G. Urma, and N.D. Lawrence, “Challenges in Deploying Machine Learning: A Survey of Case Studies,” arXiv preprint, arXiv:2011.09926, pp. 1-3, pp. 15-16, 2020.
T. Rukat, et al., “Towards Automated ML Model Monitoring: Measure, Improve and Quantify Data Quality,” ML Ops Workshop at the Conference on Machine Learning and Systems (MLSys) , pp. 1-2, 2019.
S.E. Whang and J.-G. Lee, “Data Collection and Quality Challenges for Deep Learning,” Proceedings of the VLDB Endowment 13.12, pp. 3429-3431, 2020.
A. Jain, et al., “Overview and Importance of Data Quality for Machine Learning Tasks,” Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. pp. 3561-3562, 2020.
A. Paleyes, R.-G. Urma, and N.D. Lawrence, “Challenges in Deploying Machine Learning: A Survey of Case Studies,” arXiv preprint, arXiv:2011.09926, pp. 1-3, pp. 15-16, 2020.
T. Rukat, et al., “Towards Automated ML Model Monitoring: Measure, Improve and Quantify Data Quality,” ML Ops Workshop at the Conference on Machine Learning and Systems (MLSys) , pp. 1-2, 2019.
S.E. Whang and J.-G. Lee, “Data Collection and Quality Challenges for Deep Learning,” Proceedings of the VLDB Endowment 13.12, pp. 3429-3431, 2020.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
TIT 1600℃ 이상 고효율 대형 가스터빈 DGT6-300H S2 개발 시험
한국유체기계학회 학술대회 논문집
2023 .12
-
대규모 언어 모델을 활용한 자연어 기반 폼 검증 시스템
한국컴퓨터정보학회 학술발표논문집
2025 .01
-
디지털 해석모델을 위한 통계적 검증 방법과 검증 척도의 개발
대한기계학회 춘추학술대회
2015 .04
-
Implementation of dynamic start-up test experimental data as a main part of the nuclear code validation procedure: Developed RELAP5 model for VVER-1000
Nuclear Engineering and Technology
2024 .09
-
On validation of fully coupled behavior of porous media using centrifuge test results
Coupled systems mechanics
2015 .01
-
로컬 모델 검증을 통한 가중치 부여 연합학습 프레임워크 설계
한국컴퓨터정보학회논문지
2022 .11
-
BIM 데이터 검증을 위한 평가모델에 대한 기초 연구
대한건축학회 학술발표대회 논문집
2022 .10
-
시험 · 검사방법의 유효성 검증 방법 비교
환경분석과 독성보건
2019 .01
-
공개소프트웨어 R&D 결과물 품질 검증방안 연구
한국통신학회 학술대회논문집
2022 .11
-
메타데이터 간 유사도를 이용한 그래프 기반의 공공데이터맵 구축: 서울특별시 사례를 대상으로
대한산업공학회지
2023 .10
-
동작 분석 시스템의 성능 검증
대한기계학회 춘추학술대회
2024 .11
-
국가건물에너지통합DB 기반 건물에너지 상세통계 구축방안
대한건축학회 학술발표대회 논문집
2017 .10
-
모델 검증을 통한 시뮬레이션 모델 예측 성능 향상
대한기계학회 춘추학술대회
2019 .11
-
연합 디지털 트윈에서 데이터 증강 및 검증을 위한 데이터 관리 프레임워크 구성 방법 연구
한국통신학회 학술대회논문집
2022 .11
-
전력 데이터 분석을 위한 데이터 분석 프레임워크 방안에 관한 연구
한국통신학회 학술대회논문집
2017 .06
-
구조 시스템 식별의 실험적 검증을 위한 방법에 대한 연구
대한기계학회 춘추학술대회
2016 .04
-
Recursive decomposition as a method for integrating heterogeneous data sources
제어로봇시스템학회 국제학술대회 논문집
2015 .10
-
K-겹 교차 검증과 서포트 벡터 머신을 이용한 고무 오링 결함 검출 시스템
한국가시화정보학회지
2021 .04
-
V2V 기본 안전 메시지 데이터의 유효성 검증
자동차안전학회지
2017 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
Performance-Aware Multi-Cloud Infrastructure Provisioning Based on Cloud-Barista Open Source Project
손석호
,
서지훈
,
김병섭
외 1명
Journal of KIISE
2022
.10
오픈소스 프로젝트 기반 글로벌 테크 기업 인공지능 기술역량 분석
최재명
,
이학연
한국경영과학회 학술대회논문집
2022
.06
성능 기반의 최적 멀티 클라우드 인프라 프로비저닝
손석호
,
서지훈
,
김병섭
외 1명
한국정보과학회 학술발표논문집
2021
.12
샤인머스캣과 청포도 자동 분류 딥러닝 시스템 개발
김명진
,
한영석
,
김승우
외 1명
디지털콘텐츠학회논문지
2021
.10
인공지능을 위한 편향성 데이터 품질 척도
이현정
,
이재호
,
정의현
외 1명
대한전자공학회 학술대회
2021
.06
최근 본 자료
댓글(0)
0