[DAsP] Part 1. 데이터 이해 | 2장 - 데이터의 가치와 미래
1절 - 빅데이터의 이해
1. 정의
1) 좁은 범위 : 데이터 자체의 특성 변화에 초점
- 3V (Volume, Variety, Velocity) -> 4V (Value, Visualization, Veraticy)
2) 중간 점위 : 데이터의 처리, 분석 기술적 변화까지 포함
3) 넓은 범위 : 인재, 조직 변화까지 포함
2. 빅데이터 정의의 범주 및 효과
| 데이터 변화 | -> | 기술 변화 | -> | 인재, 조직 변화 |
|
* 규모 (Volume) * 형태 (Variety) * 속도 (Valocity) |
* 데이터 처리, 저장, 분석기술 및 아키텍쳐 * 클라우드 컴퓨팅 활용 |
* Data Scientist 같은 새로운 인재 필요 * 데이터 중심 조직 |
-> 기존 방식으로는 얻을 수 없는 통찰 및 가치 창출
-> 사업방식, 시장, 사회, 정부 등에서 변화와 혁신 주도
3. 출현 배경
1) 산업계 - 고객 데이터 축적
: 고객 데이터를 축적하여 데이터에 숨어있는 가치를 발굴
2) 학계 - 거대 데이터 활용, 과학 확산
: 아키텍쳐 및 통계 도구들이 발전
3) 기술발전 - 관련기술의 발달
: 디지털화, 저장 기술의 발달, 인터넷 보급, 모바일 혁명, 클라우드 컴퓨팅
4. 빅데이터에 거는 기대
1) 빅데이터를 비유하는 단어
- 산업혁명의 석탄, 철
- 21세기의 원유
- 렌즈
- 플랫폼
2) 본질적인 변화
(1) 사전처리 -> 사후처리
(2) 표본조사 -> 전수조사
(3) 질 -> 양
(4) 인과관계 -> 상관관계
2절 - 빅데이터의 가치와 영향
1. 가치 산정이 어려운 이유
1) 데이터 활용방식
2) 새로운 가치 창출
3) 분석 기술 발전
2. 영향 - 생활 전반의 스마트화
1) 기업 - 혁신, 경쟁력 제고, 생산성 향상
2) 정부 - 환경 탐색, 상황 분석, 미래 대응
3) 개인 - 목적에 따른 활용
3절 - 비즈니스 모델
1. 활용 사례
1) 기업 - 구글 검색 서비스, 월마트 고객 구매패턴 분석
2) 정부 - 국가 안전 확보 활동을 위한 실시간 모니터링, 의료와 교육 개선
3) 개인 - 사회관계망을 통한 선거활동, 음악 청취 기록 분석
2. 활용 기본 테크닉
1) 연관규칙학습 - 변인들 간에 주목할 만한 상관관계가 있는지를 찾아내는 방법
2) 유형분석 - 문서를 분류하거나 조직을 그룹으로 나눌 때, 또는 온라인 수강생들을 특성에 따라 분류할 때 사용
3) 유전자 알고리즘 - 최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 매커니즘을 통해 점진적으로 진화시켜 나가는 방법
4) 기계학습 - 훈련 데이터로부터 학습한 알려진 특성을 활용해 예측하는 방법
5) 회귀분석 - 독립변수를 조작함에 따라, 종속변수가 어떻게 변하는지를 보면서 두 변인의 관계를 파악할 때 사용
6) 감정분석 - 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석
7) 사회관계망분석 - 특정인과 다른 사람이 몇 촌 정도의 관계인가를 파악할 때 사용하고, 영향력있는 사람을 찾아낼 때 사용
4절 - 위기 요인과 통제 방안
1. 빅데이터 시대의 위기 요인
1) 사생활 침해
2) 책임 원칙 훼손
3) 데이터 오용
2. 위기 요인에 따른 통제 방안
1) 동의에서 책임으로
2) 결과 기반 책임 원칙 고수
3) 알고리즘 접근 허용
5절 - 미래의 빅데이터
1. 기본 3요소
1) 데이터 : 모든 것의 데이터화
- 특정 목적없이 축적된 데이터를 통한 창의적 분석, 새로운 결과 도출
2) 기술 : 진화하는 알고리즘, 인공지능
- 대용량의 데이터를 빠르게 처리하는 알고리즘, 스스로 학습하고 데이터를 처리하는 인공지능
3) 인력 : 데이터 사이언티스트, 알고리즈미스트
- 빅데이터의 다각적 분석을 통한 인사이트 도출
출처: 윤종식, 『데이터 분석 (준)전문가 가이드』, (주)데이터에듀(2020)