🔍 다국어 AI 데이터 구축

[이론] AI 학습 데이터, 한·영 병렬 말뭉치, 입력·라벨 및 학습·검증·평가 데이터 개념 [실습] Colab 환경 구성, 변수·자료형·기본 입출력

[이론] 한·영 문장쌍과 메타데이터를 Python 자료구조로 표현하는 방법 [실습] 문자열 처리와 리스트·딕셔너리 기반 병렬 데이터 다루기

[이론] 데이터 처리 규칙을 코드로 표현하는 기본 구조 [실습] 빈 문장·문장 길이·언어 문자 비율 검사 함수 작성

[이론] NumPy 배열, shape, dtype, 인덱싱, reshape 및 기초 통계 [실습] 문장 길이·단어 수를 NumPy 배열로 변환하고 통계 확인

[이론] DataFrame·Series, CSV 구조, 행·열 선택과 조건 필터링 [실습] 병렬 데이터 CSV 불러오기, head·info·describe 확인 및 도메인별 조회

[이론] 결측값·중복·공백·문장 길이·도메인 분포 처리 [실습] 정제 전후 비교, 언어·도메인별 집계 및 정제 CSV 저장

[이론] NumPy와 Tensor 비교, Dataset·DataLoader·batch 및 KNN 개념 [실습] MNIST 데이터 구조 확인, 준비된 KNN 코드 실행 및 문장 특징 기반 언어 분류 결과 비교

[평가] 한·영 병렬 데이터 불러오기·정제·기초 분석 실기평가(과정1, 오전 2h) [연계] 글로벌 AI 규제와 다국어 데이터 거버넌스 준비(과정2, 오후 3h)

[이론] 글로벌 AI 규제(GDPR·EU AI Act) 프레임워크와 다국어 데이터 윤리 [실습] 규제 프레임워크 기반 데이터 거버넌스 사례 분석

[이론] 개인정보 보호 원칙 및 비식별화(De-identification) 개념 [실습] 글로벌 기준의 개인정보 비식별화 기법 적용

[이론] AI 훈련 데이터와 저작권법 및 공정 이용(Fair Use) [실습] 저작권 분쟁·공정 이용 사례 분석

[이론] 오픈 데이터 라이선스(CC·ODbL) 체계 및 출처 명시(Provenance) 개념 [실습] 라이선스 분석·데이터 조합 실무 및 출처 표기 실습

[이론] 저작권·윤리적 위험 평가 프레임워크 및 데이터 계보(Lineage) 관리 [실습] 위험 평가 체크리스트 구축 및 출처·계보 관리 워크플로우 설계

[이론] 저자원 언어 정의 및 데이터 부족 극복 전략 [실습] 대상 언어 선정 및 저자원 언어 구축 전략서 초안 작성

[이론] 웹 크롤링·OCR·음성 기반 데이터 수집 개요 [실습] 저자원 언어 웹 크롤링 및 다중 모달(OCR·음성) 데이터 수집

[이론] 전이학습(Transfer Learning) 및 Few-shot 전략 [실습] 소량 데이터 기반 Few-shot 주석 효율화

[이론] 전사(Transcription)·주석(Annotation) 효율화 전략 및 병렬 코퍼스·기계 번역 활용 [실습] 전사·주석 워크플로우 구축, 병렬 코퍼스 구축 및 기계 번역 적용

[이론] 데이터 품질 검증(QA) 지표 및 벤치마크 개념 [실습] 품질 검증·벤치마크 평가 수행 및 저자원 언어 구축 전략서 최종화

[이론] 데이터 자동화 개념 및 JSONL 스키마 이해 [실습] CSV·JSONL 대응 관계 확인 및 변환 구조 실습

[이론] ETL 개념, 데이터 형식 비교, 필수·선택 필드 및 다국어 인코딩 [실습] CSV→JSONL 변환, 스키마 정의 및 유효성 검사

[이론] 텍스트·이미지·음성 데이터 연결, 고유 ID·파일 경로·메타데이터 관리 [실습] 마스터 CSV 구축, 누락 파일·중복 ID·불일치 데이터 자동 확인

[이론] 라벨 정의, 포함·제외 기준, 예외 처리 및 검수자 판단 규칙 [실습] Python·Pandas 기반 필수 열·결측·중복·허용값·문장 길이 검증 코드 작성

[이론] 의미 대응, 누락·과잉 번역, 고유명사·수치·문체·문화적 표현 검토 [실습] 번역·역번역 결과 비교, 품질 플래그 부여 및 교정 의견 작성

[이론] 단순 일치율, Cohen 계수 개념, 언어·도메인·문장 길이 편중 [실습] 검수자 불일치 추출, 언어별 분포 분석 및 편향 리포트 작성

[이론] 함수 기반 정제 단계, 합성·증강 데이터 관리 및 실행 로그 설계 [실습] 정상·오류 데이터 분리 저장, 처리 건수 집계 및 오류 로그 생성

[이론] 입력·스키마 검사·정제·검증·JSONL 변환·리포트 생성 흐름 [실습] 전체 파이프라인 통합 실행, 오류 구간 확인 및 처리 결과 검증

[이론] 품질검토 프롬프트, 구조화된 출력, 단계별 데이터 처리와 평가 흐름 [실습] 데이터 오류 분류·수정 권고 Agent 구성, Workflow 실행 및 평가 결과 확인

[이론] 품질 지표 시각화, Dataset Card 구성, Hugging Face·GitHub 배포 구조 [실습] Looker Studio 대시보드 구성, Dataset Card 작성 및 결과물 패키징

[평가] 개인별 파이프라인 실행, Alpy Agent 시연, 품질 리포트·Dataset Card·포트폴리오 발표

[이론] LLM 학습용 다국어 데이터셋 개요 및 토크나이제이션 [실습] 토크나이제이션 기초 실습

[이론] 다국어 토크나이저 특성 비교 [실습] 토크나이저 비교 및 서브워드 분할 실습

[이론] 다국어 데이터 혼합 비율 및 데이터셋 커리큘럼 설계 [실습] 혼합 비율 설계 사례 분석 및 커리큘럼 설계서 작성

[이론] 데이터셋 샘플링·밸런싱 전략, 데이터셋 카드·문서화 표준 및 편향 평가 지표 [실습] 다국어 데이터셋 샘플링·밸런싱 자동화 및 데이터셋 카드 작성

[이론] 데이터셋 품질 진단 프레임워크 및 산업별(의료·금융·유통·제조) 데이터 요구사항 [실습] 데이터셋 품질 진단 리포트 작성, 산업별 데이터 실습 및 캡스톤 주제 선정

산업별 데이터 요구사항 확정, 수집 계획 수립 및 원천 데이터 수집

결측·중복·노이즈 처리, 정규화 및 스키마 정합성 확보