- Đường Nguyễn An Khang 20110501 0767989557
- Bùi Quang Huy 20110492
- Đoàn Văn Hiếu 20110476
- Thư viện: https://parquet.apache.org/
- Viết ứng dụng cho thư viện này trên nền tảng Hadoop
- Yêu cầu chi tiết:
- Cài đặt Hadoop
- Chuyển file CSV sang Parquet
- Đọc, ghi file Parquet trong Hadoop sử dụng mô hình MapReduce
- File CSV download từ challange: https://www.kaggle.com/c/riiid-test-answer-prediction"
- S3
- EMR - EC2
- SageMaker
- Lily
- Hadoop
- Spark
- https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/
- https://spark.apache.org/docs/latest/sql-data-sources-parquet.html
- lần 1: https://youtu.be/CeYVifhZdwo
- lần 2: https://youtu.be/VK48pbE979I