순천향대학교 컴퓨터공학과 상정

[빅데이터 컴퓨팅 응용] 


                                                                         과제제출게시판

  • 강의목표

     빅데이터 컴퓨팅의 기본 개념, 원리 및 응용 기법을 강의한다. 주요 내용으로는 빅 데이터의 기본 개념을 소개하고, 하둡 분산 파일 시스템과 맵리듀스의 빅데이터 처리, 스파크를 사용한 분산 데이터 처리 및 분석 기법 등을 강의하고 적용 사례를 살펴 본다.

 

강의내용

참고 사이트

0. 강의 소개

1. 빅데이터 컴퓨팅소개

MapR Academy, Introduction to Big Data
GFS 논문
, Bigtable 논문

2. 아파치 하둡 소개

MapR Academy, Introduction to Big Data

3. 맵리듀스 소개

MapR Academy, Developing Hadoop Applications

MapReduce 논문

4. 맵리듀스 응용 구축

MapR Academy, Developing Hadoop Applications

5. 아파치 스파크 소개

MapR Academy, Apache Spark Essentials
Lesson 1: Introduction to Apache Spark
스파크

스칼라 학교 세미나

발표 순서

6. 스파크 프로그래밍 기초

MapR Academy, Apache Spark Essentials
Lesson 2: Load and Inspect Data

7.  스파크응용구축

MapR Academy, Apache Spark Essentials
Lesson 3: Build a Simple Apache Spark Application

8. 스파크 Pair RDD

MapR Academy, Apache Spark Essentials

Lesson 4: Work with Pair RDD

9. 스파크 데이터프레임

MapR Academy, Apache Spark Essentials

Lesson 5: Work with DataFrames

10. 스파크 응용 모니터링

MapR Academy, Apache Spark Essentials

Lesson 6: Monitor Apache Spark Applications

11. 스파크 데이터 파이프라인

MapR Academy, Apache Spark Essentials

Lesson 7: Create Data Pipelines With Apache Spark

12. 스파크 스트리밍

MapR Academy, Apache Spark Essentials

Lesson 8: Create an Apache Spark Streaming Application

13. HBase 데이터베이스

Coreservelets.com Hadoop Tutorial: HBase Part 1, 2, 3

MapR Academy, Apache Spark Essentials

Lesson 8: Create an Apache Spark Streaming Application

14. 스파크 GraphX

MapR Academy, Apache Spark Essentials

Lesson 9: Use Apache Spark GraphX

15. 스파크 MLib

MapR Academy, Apache Spark Essentials

Lesson 10: Use Apache Spark MLib

 

·         참고사이트
http://hadoop.apache.org/              아파치 하둡
http://spark.apache.org/               아파치 스파크
https://github.com/apache/spark        Git 스파크 저장소
http://learn.mapr.com/                 MapR 아카데미
https://research.google.com/           구글 리서치
http://www.scala-lang.org/             스칼라
http://twitter.github.io/scala_school/ko/  스칼라 학교

https://grouplens.org/                 미네소타 대학 GroupLens, 영화 데이터 세트 제공
http://archive.ics.uci.edu/ml          UCI Machine Learning Repository, 기계학습 데이터 세트 제공
https://physionet.org/physiobank/      생체신호 및 관련 데이터 제공

·         평가: 출석 10%, 과제 및 발표 60%, 시험 30%