빅데이터 컴퓨팅 응용

[빅데이터 컴퓨팅 응용]

강의목표
빅데이터 컴퓨팅의 기본 개념, 원리 및 응용 기법을 강의한다. 주요 내용으로는 빅 데이터의 기본 개념을 소개하고, VirtualBox 상의 클러스터에서 하둡 분산 파일 시스템과 맵리듀스의 빅데이터 처리, 스파크를 사용한 분산 데이터 처리 및 분석 기법 등을 강의, 실습하고 적용 사례를 살펴 본다.

교재
[MAPR Academy] Essentials Series
[MAPR Academy] Hadoop Developer Courses & Certification
[MAPR Academy] Spark Developer Courses and Certification

강의노트: 순천향대학교 학습플랫폼 -> 강의노트/자료 (컴퓨터학과, 재활공학과)

강의내용	참고 사이트	참고 자료
0. 강의 소개
1. 빅데이터 컴퓨팅소개	[MAPR Academy] Introduction to Big Data	GFS 논문, Bigtable 논문
2. 아파치 하둡 소개	[MAPR Academy] Apache Hadoop Essentials
3-1. 클러스터 실습 환경 3-2. 리눅스 명령 개요	[컴퓨터구조] 실습1. VirtualBox 실습 플랫폼 구축
4. 하둡 클러스터 개요 및 설치	How to install Hadoop on Ubuntu 18.04 Bionic Beaver Linux
5. 맵리듀스 소개	[MAPR Academy] Build Hadoop MapReduce Applications Lesson 1: Introduction to MapReduce	MapReduce 논문
6. 맵리듀스 응용 구축	[MAPR Academy] Build Hadoop MapReduce Applications Lesson 2: Job Execution Framework Lesson 3: Write a MapReduce Program
7. 아파치 스파크 소개	[MAPR Academy] Introduction to Apache Spark Lesson 1: Introduction to Apache Spark	스파크 논문
8. 스칼라 프로그래밍 언어 기초	LearningScalarMaterials
9. 스파크 데이터세트 생성	[MAPR Academy] Introduction to Apache Spark Lesson 2: Create Datasets
10. 제플린 노트북		Apache Zeppelin
11. 스파크 데이터세트 연산1	[MAPR Academy] Introduction to Apache Spark Lesson 3: Apply Operations on Datasets	스파크 SQL 논문
12. 스파크 데이터세트 연산2	[MAPR Academy] Introduction to Apache Spark Lesson 3: Apply Operations on Datasets
13. 스파크 응용구축	[MAPR Academy] Build a Simple Apache Spark Application Lesson 4: Build a Simple Apache Spark Application
14. 스파크 응용 모니터링	[MAPR Academy] Build a Simple Apache Spark Application Lesson 5: Monitor Apache Spark Applications
15. 스파크 스트리밍	[MAPR Academy] Advanced Apache Spark Lesson 6: Create an Apache Spark Streaming Application
16. 스파크 그래프프레임	[MAPR Academy] Advanced Apache Spark Lesson 7: Use Apache Spark GraphFrame	Analyzing Flight Delays with Apache Spark GraphFrames and MapR Database
17. 스파크 MLib	[MAPR Academy] Advanced Apache Spark Lesson 8: Use Apache Spark MLib	ALS 논문

과제 제출: 순천향대학교 학습플랫폼 -> 주차 별 학습활동

·         참고사이트
http://learn.mapr.com/                 MapR 아카데미
http://hadoop.apache.org/              아파치 하둡
http://spark.apache.org/               아파치 스파크
https://github.com/apache/spark        Git 스파크 저장소
https://research.google.com/           구글 리서치

https://www.data.go.kr/                  공공 데이터 포털
https://grouplens.org/                 미네소타 대학 GroupLens, 영화 데이터 세트 제공
http://archive.ics.uci.edu/ml          UCI Machine Learning Repository, 기계학습 데이터 세트 제공
https://physionet.org/physiobank/      생체신호 및 관련 데이터 제공

· 평가: 출석 10%, 과제 및 발표 60%, 시험 30%