728x90
반응형
SMALL
빅데이터 자동화 수집 기술
네트워크 수집
- 크롤링(Crawling) : 사전 정의 패턴에 따라 정해진 네트워크 지접의 데이터 수집
- Open API : 데이터 배포차 제공 인터페이스
로그/센서 수집
- 로그(Log) 수집 : 작동 또는 이용 패턴의 기록
- 센서(Sensor) 수집 : 센서 장치를 이용한 기록(사물인터넷)
빅데이터 수집 사례
JSON(JavaScript Object Notation)
- XML 유사 데이터 정형화 방식
- 인터넷 상의 데이터 송수신 방식
- 텍스트 형태, 작은 용량, 빠른 변환 속도
- 프로그래밍 언어 또는 플랫폼 독립적
Flume(플럼)
- 2010년 Cloudera 개발, 로그 데이터 수집기
- 분산 데이터 통합 가능, 안정성 가용성 높음
Chukwa (척와)
- 2008년 Yahoo 개발, 로그 데이터 수집기
- 아파치 하둡 기반, 실시간 분석 가능
SQOOP (스쿱)
- SQl-to-hadOOP, 다양한 DBMS 벤더 호환
- DBMS, 하둡(분산데이터처리플랫폼), NoSQL 간 데이터 연동에 적용
OpenRefine (오픈 리파인)
- 2010년 Google의 오픈 프로젝트
- 데이터 정제 도구 : 오류 수정, 데이터 정리
- 데이터 연계 API 및 워크플로우 기능 제공
Protocol Buffers (프로토콜 버퍼)
- Google의 오픈소스 직렬화 라이브러리
- 다양한 플랫폼 간 통신 가능
728x90
반응형
LIST