빅데이터의 개념과 특징

1. 빅데이터의 개념

• 빅데이터(Big Data)

–디지털 환경에서 생성되는 데이터

–과거 아날로그 환경에서 생산되던 데이터에 비해 그 규모가 방대하고 생성 주기도 짧으며 수치 데이터뿐만 아니라 문자와 영상 데이터를 포함하는 대규모 데이터

 

• 빅데이터와 기존 일반 데이터의 차이점

– 빅데이터는 다양한 방법과 원천, 환경으로부터 수집된 데이터 의미

–빅데이터는 병렬 처리를 위한 컴퓨터 시스템이 필요할 정도로 큰 데이터임

– 빅데이터는 비즈니스 혹은 연구에서 유용한 가치 창출

– 빅데이터가 창출하는 가치를 보장하기 위해서는 타당성(Validity)과 신뢰성(Veracity)을 확보해야 함

 

 

• 데이터 단위

-비트(Bit) : 가장 작은 데이터 단위

-8비트 = 1바이트(Byte), 영어나 숫자는 1바이트, 한글은 2바이트

-1킬로바이트(KB) = 1,024바이트(Byte)

-1메가바이트(MB) = 1,024킬로바이트(KB)

 

 

2. 빅데이터의 특징

 

1) 3V : 크기 + 속도 + 다양성

•크기(Volume)

–물리적 장치에 저장되는 데이터의 양

 

•속도(Velocity)

–데이터의 실시간 처리를 보장할 수 있어야 한다는 것

 

•다양성(Variety)

–다양한 형태의 데이터를 포함하는 것

 

2) 4V : 3V + 신뢰성

•신뢰성(Veracity)

–데이터가 얼마나 가치 있고 유용한지를 나타내는 것으로, 빅데이터를 분석하는 데 있어 기업이나 기관에서 수집한 데이터의 정확성을 살펴보는 것

 

 

3) 5V : 4V + 가치

–빅데이터는 비즈니스에 활용되어 가치를 이끌어 낼 수 있어야 그 의미가 있음

–빅데이터를 설계하고 수집하기 전에 해당 데이터를 활용하여 무엇을 할 수 있을지에 대한 고민이 필요

 

4) 6V : 5V + 타당성

•타당성(Validity)

–데이터의 정확성을 의미

 

5) 7V : 6V + 휘발성

•휘발성(Volatility)

–데이터를 얼마나 오래 저장하고 사용할 수 있는지에 관한 것

 

 

https://blog.altair.co.kr/68974

빅데이터(Big Data)란?​

 

 

3. 빅데이터의 유형

 

• 정형 데이터 (Structured Data)

–일정한 형식이나 규칙(Rule)에 맞게 저장된 데이터

–가장 쉽게 접할 수 있는 유형은 스프레드시트

–정형 데이터의 예 : 스프레드시트, 관계형 데이터베이스, CSV 등

 

 

 

 

 

 

 

 

• 비정형 데이터 (Unstructured Data)

–정형 데이터와 반대되는 개념으로, 정해진 규칙이 없어서 값의 의미를 쉽게 파악하기 힘든 경우가 많음

–인공지능 기술의 발전과 함께 비정형 데이터로부터 인사이트(Insight)를 얻는 사례가 많아지면서 비정형 데이터에 대한 중요성이 부각되고 있음

–비정형 데이터의 예 : SNS, 영상, 이미지, 음성, 텍스트 등

 

 

• 반정형 데이터

–스키마(Schema)와 메타데이터(Metadata)의 특성을 갖는 데이터

–반정형 데이터가 주목을 받는 이유는 인터넷에 존재하는 수많은 데이터를 인공지능에 사용할 수 있기 때문이다.

–반정형 데이터의 예 : XML, JSON, NoSQL, 로그 등