728x90
반응형
SMALL
빅데이터 기술 및 제도
1. 빅데이터 플랫폼의 계층 구조
- 빅데이터 플랫폼은 크게 3계층 구조로 나뉨.
상위에서 하위 순으로 다음과 같음:
- 소프트웨어 계층
- 데이터 수집 및 정제
- 데이터 처리 및 분석
- 사용자/서비스 관리
- 플랫폼 계층
- 데이터 및 자원의 관리
- 작업 스케줄링
- 프로파일링
- 인프라스트럭처 계층
- 자원 배치 및 관리
- 저장장치 및 네트워크 관리
💡 암기 포인트: 상위는 소프트웨어, 하위는 인프라
⮕ ‘소플인’ 순서로 기억!
2. 인공지능과 머신러닝
- 딥러닝 (Deep Learning, DL)
- 머신러닝의 하위로, 인공신경망(ANN)을 기반으로 한 학습 방식
- 인간 뇌의 뉴런 구조를 본 떠 만든 신경망 이용
- 복잡한 문제(음상, 인식, 이미지 분류, 자연어 처리 등)에 강력한 성능
- 대용량 데이터 + 고성능 컴퓨팅 필요
- 예) CNN, RNN, Transformer, GAN
- 머신러닝 (Machine Learning, ML)
- AI의 한 분야로, 기계가 데이터를 통해 스스로 학습하는 기술
- 명시적인 프로그래밍 없이도, 데이터로부터 규칙이나 패턴을 자동 학습
- AI보다 좁은 개념(AI의 하위 집합)
- 지도학습, 비지도학습, 강화학습
- 예) SVM, 결정트리, 랜덤포레스트, XGBoost, KNN 등
- 인공지능 (Artificial Intelligence, AI)
- 기계가 인간처럼 사고하고 행동하게 만드는 기술
- 사람처럼 '판단', '예측', '학습', '문제 해결' 하도록 만드는 기술
- 광범위한 개념으로, 머신러닝·딥러닝도 이 범주 안에 포함
- 예) 체스 두는 인공지능, 스마트 스피커, 챗봇, 추천 시스템
- 관계 구조
- 딥러닝 ⊂ 머신러닝 ⊂ 인공지능 (DL < ML < AI)
- 딥러닝은 머신러닝보다 더 깊고 복잡한 신경망 기반의 학습 방식
- 머신러닝은 딥러닝보다 전통적이고 단순한 알고리즘 포함
인공지능 = 요리사 전체
머신러닝 = 요리사가 레시피를 보고 요리함
딥러닝 = 요리사가 스스로 레시피를 만들어 요리함 (자동화)
머신러닝의 주요 학습 방식
| 분류 | 설명 | 대표 알고리즘 / 모델 |
| 지도학습 | 입력과 정답(Label)을 함께 주고 학습 | 회귀, 결정 트리, SVM, 랜덤 포레스트, 인공신경망 |
| 비지도학습 | 정답 없이 패턴만 찾아냄 | K-means, 계층적 군집화, DBSCAN, PCA |
| 강화학습 | 보상을 최대화하는 행동을 학습 (예: 게임 AI) | Q-Learning, SARSA, DQN, AlphaGo, ChatGPT... |
약인공지능 vs 강인공지능
| 분류 | 설명 |
| 약인공지능 | 특정 목적의 한정된 범위에서 동작 (예: 챗봇) |
| 강인공지능 | 인간과 동등한 사고력, 창의력 보유 (미래형 AI), 현재 개발되지 않음 |
3. 경량 딥러닝 학습 기법
- 전이학습 (Transfer Learning)
기존에 훈련된 모델의 지식을 새로운 문제에 활용 - Fine-Tuning
기존 모델을 타겟 도메인에 맞게 추가 조정 - 지식증류 (Knowledge Distillation)
Teacher Network → Student Network로 지식 전달
경량화 기법은 모델 재사용/경량화에 초점
특히 IoT, 모바일 디바이스에서 중요
4. 개인정보 관련 제도
1. 데이터 3법(개정신)
- 개인정보보호법
- 정보통신망법 (정보통신망 이용 촉진 및 정보보호법)
- 신용정보법 (신용정보의 이용 및 보호에 관한 법률)
2. OECD 프라이버시 8원칙
- 개인정보보호법의 개인정보보호 원칙은 OECD 프라이버시 8원칙을 참고하여 반영
| 원칙명 | 설명 |
| 수집 제한의 원칙 (Collection Limitation Principle) |
개인정보는적법하고 공정한 수단에 의해 수집되어야 하며, 정보주체의 인지 또는 동의를 받는 것이 바람직함. |
| 데이터 정확성 원칙 (Data Quality Principle) |
수집된 개인정보는 정확하고, 완전하며, 최신 상태를 유지해야 하고, 수집 목적과 관련성이 있어야 함. |
| 목적 명확화 원칙 (Purpose Specification Principle) |
개인정보는 수집 시 명확하게 정의된 목적으로만 사용되어야 하며, 그 목적 외로는 사용되지 않아야 함. |
| 이용 제한 원칙 (Use Limitation Principle) |
정보주체의 동의가 없거나 법률에 의해 허용되지 않는 한, 개인정보는 명시된 목적 이외의 용도로 이용 또는 제공되어서는 안 됨. |
| 보안 보호 원칙 (Security Safeguards Principle) |
개인정보는 분실, 무단 접근, 파기, 변경, 공개 등의 위험으로부터 적절한 보안조치로 보호되어야 함. |
| 공개 원칙 (Openness Principle) |
개인정보 처리에 대한 정책, 수집 목적, 사용 방법 등은 공개되어야 하며, 정보주체가 쉽게 접근할 수 있어야 함. |
| 개인 참여 원칙 (Individual Participation Principle) |
정보주체는 자신의 개인정보에 접근하고, 부정확하거나 부적절한 정보는 정정·삭제할 권리를 가져야 함. |
| 책임 원칙 (Accountability Principle) |
개인정보를 처리하는 자는 이 모든 원칙을 준수할 책임을 지며, 이를 입증할 수 있어야 함. |
3. 주요 개정 내용
- 가명정보 도입: 통계, 연구 등 공익 목적으로 동의 없이 사용 가능
- 보호 거버넌스 체계 개선
- 개인정보처리자 책임 강화
- 개인정보 판단 기준 명확화
4. 개인정보 비식별 조치 절차
- 1. 사전검토
- 2. 비식별 조치
- 3. 적정성 평가
- 4. 사후 관리
⮕ 이 순서를 데이터 비식별화 절차로 기억!
5. 개인정보 이슈와 통제 방안
| 위기 요인 | 문제 상황 | 통제 방안 |
| 사생활 침해 | SNS 게시글로 인한 사생활 노출 | 사용자 책임 원칙 강조 |
| 책임 원칙 훼손 | 범죄 예측 기반 선제적 체포 | 결과에 대한 책임만 부여 |
| 데이터 오용 | 분석이 항상 옳지 않음 | 알고리즘 해석 전문가 필요 (알고리즈미스트) |
💡 빅데이터의 책임 문제는 알고리즘 투명성과 해석 가능성이 핵심임
6. 마이데이터 제도
- 마이데이터(MyData):
개인이 자신의 신용정보 등을 통제하고, 제3자에게 제공하여 맞춤형 서비스를 받는 제도
예: 개인 금융정보를 기반으로 대출 상품 추천, 소비 패턴 분석 제공 등
728x90
반응형
LIST