본문 바로가기

빅데이터

[데이터 엔지니어링] 빅데이터 (Big Data) 란? _ 빅데이터3요소, 하둡, NoSQL 빅데이터란? 데이터 규모: 기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석 역량을 넘어서는 데이터 업무수행 방식: 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 빠른 수집과 분석을 지원하도록 고안된 차세대 기술 및 아키텍처 빅데이터의 3대요소 (3V) 크기 Volume - 일반적으로 수십 테라바이트, 페타바이트 이상 - 기존 저장 방식 및 분석 방식으로는 처리가 힘듦 - 확장 가능한 방식으로 데이터를 저장하고 분석하는 분산 컴퓨팅 방식으로 접근 해야함 (GFS, 하둡) 속도 Velocity - 실시간 처리 : 데이터의 수집, 저장, 분석이 실시간으로 처리 - 장기적인 접근 : 데이터마이닝, 기계학습, 자연어처리, 패턴 인식 등 다양성 Variety - 정형 : 고정된 필드에 저장되는.. 더보기
[데이터 엔지니어링] 기술면접 질문목록 ◾ 빅데이터의 3요소는? ...더보기 ◾ 하둡이란? ...더보기 데이터 엔지니어링이란? ETL이란? 맵리듀스란? 스파크란? RDD란? HDFS란? HDFS에서 파일을 읽고 쓰는 과정을 말해주세요 HDFS에서 블록을 크게 설정하는 것이 좋을까 작게 설정하는 것이 좋을까? 그 이유는? 네임 노드란? 도커란? 쿠버네티스란? 둘의 차이는? 더보기

티스토리툴바