Categories
블로그

실무로 배우는 빅데이터 기술 데이터 수집, 적재, 처리, 분석, 머신러닝까지

교보문고의 새로운 출판물 중 빅데이터 관련 도서를 소개합니다.

전문 개발자가 아니어도 소프트웨어 지식이 거의 없어도 기술 최대 빅데이터 구현하고 경험할 수 있습니다.

빅데이터 시스템을 구축하는 데 필요한 실무 요구 사항을 도출하고 빅데이터의 수집 적재 처리 분석 아키텍처와 이를 해결하기 위한 10가지 주요 기술 요소를 설명하여 독자가 빅데이터를 더 쉽게 이해할 수 있도록 도와줍니다.

그러다 시범사업의 구축단계를 직접 실습을 통해 따라가다 보니 빅데이터 기술 실무적 적용기술을 직접 배울 수 있었다.

이 책은 빅데이터의 수집적재 처리 검색 분석 응용 분야의 아키텍처와 활용을 다루면서 스마트 카의 빅데이터 시범 프로젝트를 단계별로 진행합니다.

빅데이터의 수집적재 빅데이터의 개요와 파일럿 프로젝트의 도메인을 이해하고 파일럿 실습 환경을 구성합니다

사용하여 스마트 카에 의해 생성됩니다.

사용하는 스마트 자동차의 대용량 파일 및 실시간 데이터.

빅데이터의 처리 검색 쿼리로 데이터 선택 변환 통합 축소와 같은 모든 처리 작업을 수행합니다.

데이터 처리 검색 프로세스는 빅데이터 마트를 구성하기 위해 티슈 페이퍼를 통해 처리됩니다.

빅데이터 분석 결과를 저장하고 특종을 사용하여 외부 내보냅니다

빅데이터의 분석을 적용한 스마트카 데이터를 대상으로 고성능 인메모리 분석을 수행하여 통찰력을 발견하고 결과를 시각화합니다.

및 사용하여 스마트 카 마트 데이터는 정의되지 않음 서비스는 사용하여 스마트 자동차 운전자의 연간 소득 회귀 모델을 생성하고 운전하는 동안 이상을 운전하는 깊은 머신않은 모델을 생성하여 구성됩니다.

저자 소개 저자 김강원 금융, 통신 등 다양한 분야에서 빅데이터 및 관련 프로젝트를 진행하고 있다.

기술채우고 비우는 경험을 반복하며 작은 행복을 찾는 대한민국의 목차 01장 빅데이터 이해하기빅데이터의 개념 12 빅데이터의 목적 13 빅데이터 활용 14 빅데이터 프로젝트 15 빅데이터 기술의 변화 16 빅데이터 구현 기술 수집 기술 적재 기술 처리탐색 기술 분석응용 기술 17 빅데이터와 보안 데이터 보안 접근제어 보안 18 마치며 02 빅데이터 파일럿 프로젝트 21 파일럿 프로젝트 도메인 이해 요구 사항 식별 데이터 세트 탐색빅데이터 파일럿 아키텍처 소프트웨어 아키텍처 이해 하드웨어 아키텍처 구성 환경 이해 23 빅데이터 파일럿 프로젝트를 위한 환경 구성 기타 개발 환경 구성 가상 머신 환경 구성 24 빅데이터 파일럿 서버 구성 설치 환경 구성 가상 머신복제 25 빅데이터 클러스터 구성 설치 빅데이터 기본 소프트웨어 설치 등 명령을 사용한 기본 구성 추가 및 환경 설정 클라이언트 명령을 사용하여 설치 확인 26 스마트 카 설치 27 파일럿 환경 관리 28 결론 03장 빅데이터 수집 31 빅데이터 수집 개요.

32 빅데이터 수집에 활용할 기술 플럼 카프카수집 파일럿 실행 1단계 34 수집 파일럿 실행 2단계 수집 환경 구성 플럼 설치 카프카 설치 35 수집 파일럿 실행 3단계 플럼 수집 기능 구현 에이전트 생성 에이전트에 추가 에이전트 생성 36 수집 파일럿 실행 4단계 기능 구현 토픽 생성 생산자 사용 소비자 사용 37 수집 파일럿 실행 5단계 수집 기능 테스트 로그 시뮬레이터 작업 에이전트 작업 소비자 작업 로그 파일 4적재

42 빅데이터 적재 기술 43 적재 파일럿 실행 1단계 적재실행 적재 환경 적재 파일럿 실행 2단계 파일럿 실행 4단계 적재 기능 테스트 사용자 지정 인터셉터 추가 파일 수정 로그 시뮬레이터 실행 이벤트 활성화 명령 확인 47 결론 05 빅데이터 적재실시간 적재 51 빅데이터 실시간 적재 52 빅데이터 기술 실시간 적재 사용되는 53 실시간 적재 파일럿 실행 1단계 실시간 적재 아키텍처 실시간 적재 요구 사항 실시간 적재 아키텍처 54 적재 실시간 적재 파일럿 실행 단계 적재 환경 설정 설치적재 파일럿 실행 3단계 실시간 적재 클라이언트 애플리케이션 구현 테이블 생성 배포 56 실시간 적재 파일럿 실행 4단계 실시간 적재 작동 적재 06 빅데이터 탐색 61 빅데이터 탐색 개요.

62 빅데이터 활용 기술 63 디스커버리 파일럿 실행 1단계 디스커버리 아키텍처 디스커버리 요구 사항 디스커버리 아키텍처 64 디스커버리 파일럿 실행 2단계 디스커버리 환경 구성 및 설치 완료 6 디스커버리 환경 설치 65 설치 3 적재의 구현 및 테스트 내비게이션 기능의 구현 및 테스트 주제 영역 2 모니터링 스마트 카 생성 주제 영역 1 스마트카 생성 3 비정상 운전 패턴 스마트카 정보 워크플로 생성 4 긴급점검이 필요한 스마트카 정보 워크플로 생성 5 스마트카 운전자 차량 구매이력 정보 워크플로 생성 67 결론 07 분석 71 빅데이터 분석 개요.

72 빅데이터 분석에 사용됨 기술 73 분석 파일럿 실행 1단계 분석 아키텍처 분석 요구 사항 분석 아키텍처 실행 3 단계 데이터 실시간 분석 실행 중인 분석 포함 76 분석 파일럿 실행 단계 4 실시간 분석정의 실행 및 클러스터를 사용한 스마트 카 상태 정보 예측 분류 분석 차량 정보 79 결론 08장 분석 환경 확장 81 분석 환경 확장 개요.

82 회귀 분석 스마트카의 변위에 따른 운전자의 연간 소득 예측 설치 및 환경 구성 활용 계획 실행 1 분석 데이터 세트 생성 실행 2 클라이언트 라이브러리 구성 실행 3 데이터 파일럿 실행 4 데이터 탐색 및 회귀 모델 생성 83 사용한 신경망 분석 운전 중 스마트 자동차의 위험 신호 판별 설치 및 환경 구성 단계 머신교육 및 평가 파일럿 학습 및 평가 사용하여 결과 실행 파일럿 실행 4단계 사용하여 웹 애플리케이션 빌드 부록 배우는 빅데이터 기술 실무로 강의 확장.