순천향대학교 컴퓨터공학과 이상정

[빅데이터 이해]

• 강의목표
  빅데이터 컴퓨팅의 기본 개념, 원리 및 응용 기법을 강의한다. 주요 내용으로는 빅 데이터의 기본 개념을 소개하고, VirtualBox 상의 클러스터에서 하둡 분산 파일 시스템과 맵리듀스의 빅데이터 처리, 파이썬 스파크(PySpark)를 사용한 분산 데이터 처리 및 분석 기법 등을 강의, 실습하고 적용 사례를 살펴 본다.

• 참고 교재
  PySpark 공식 문서
  [Spark by {Examples}] PySpark Tutorial
  Learning Apache Spark with Python
  [databricks] Introduction to Apache Spark
  [MAPR Academy] Hadoop Developer Courses & Certification
  [MAPR Academy] Spark Developer Courses and Certification

• 강의노트: 순천향대학교 학습플랫폼 -> 빅데이터이해 -> 강의자료실

강의내용	참고 사이트	참고 자료
0. 강의 소개
1. 빅데이터 컴퓨팅소개		GFS 논문, Bigtable 논문
2. 아파치 하둡 소개
3-1. 클러스터 실습 환경   3-2. 리눅스 명령 개요	VirtualBox, ubuntu
4. 하둡 클러스터 개요 및 설치
5. 맵리듀스 소개		MapReduce 논문
6. 맵리듀스 응용 구축	[MAPR Academy] Build Hadoop MapReduce Applications
7. 아파치 스파크 소개		스파크 논문
8. 스파크 데이터프레임 연산	[Spark by {Examples}] PySpark Tutorial	스파크 SQL 논문
9. SFPD 응용 예	[Carol McDonald] sparkdataframeexample
10. 단어 카운트 응용 예	[Databricks] A simple word count application
11. 미국 주식 응용 예	[towards data science]  Introduction to PySpark using US Stock Price Data
12. 스파크 응용구축
13. 스파크 스트리밍	Apache Spark Structured Streaming
14. 센서 데이터 응용 예	[Carol McDonald] SparkStreamingHBaseExample
15. 스파크 응용 모니터링
16. 스파크 머신 러닝 소개
17. 소득 예측 분석 예	[databricks] Getting started with MLlib - binary classification example
18. 영화 추천 예	[towards data science] Movie Recommendation with Collaborative Filtering in Pyspark
19. 스파크 그래프프레임
20. 항공기 운항 예	Analyzing Flight Delays with Apache Spark GraphFrames and MapR Database

• 과제 제출: 순천향대학교 학습플랫폼 -> 주차 별 학습활동

· 참고사이트
http://hadoop.apache.org/ 아파치 하둡
http://spark.apache.org/ 아파치 스파크
https://github.com/apache/spark        Git 스파크 저장소
https://research.google.com/ 구글 리서치

https://www.data.go.kr/ 공공 데이터 포털
https://grouplens.org/ 미네소타 대학 GroupLens, 영화 데이터 세트 제공
http://archive.ics.uci.edu/ml          UCI Machine Learning Repository, 기계학습 데이터 세트 제공
https://physionet.org/physiobank/ 생체신호 및 관련 데이터 제공

· 평가: 출석 10%, 과제 및 발표 50%, 시험 30%