[데이터 엔지니어링] 빅데이터 (Big Data) 란? _ 빅데이터3요소, 하둡, NoSQL
빅데이터란? 데이터 규모: 기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석 역량을 넘어서는 데이터 업무수행 방식: 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 빠른 수집과 분석을 지원하도록 고안된 차세대 기술 및 아키텍처 빅데이터의 3대요소 (3V) 크기 Volume - 일반적으로 수십 테라바이트, 페타바이트 이상 - 기존 저장 방식 및 분석 방식으로는 처리가 힘듦 - 확장 가능한 방식으로 데이터를 저장하고 분석하는 분산 컴퓨팅 방식으로 접근 해야함 (GFS, 하둡) 속도 Velocity - 실시간 처리 : 데이터의 수집, 저장, 분석이 실시간으로 처리 - 장기적인 접근 : 데이터마이닝, 기계학습, 자연어처리, 패턴 인식 등 다양성 Variety - 정형 : 고정된 필드에 저장되는..
더보기
