steveseo / l2bq Goto Github PK

• 수집 및 처리된 DAU Log Data 에 대한 Graph Visualize Page 개발
  • HTML Page 내 Graph Library(e.g. D3, etc.) 를 활용 개발

• Bigquery Load Job 의 Limit
  • Rate limit: 2 imports per minute
  • Daily limit: 1,000 import requests per day (including failures)
  • Maximum number of files to import per request: 500
  • Maximum import size per file: 4GB2
    • CSV 1 GB(Compressed)
      • With new-lines in strings: 4 GB(Uncompressed)
      • Without new-lines in strings: 1 TB (Uncompressed)
    • JSON 1 GB(Compressed), 1 TB ( Uncompressed )
  • Maximum import size per job: 100GB2
  • Maximum size per load job: 1 TB uncompressed
  • Maximum number of files per load job: 10,000

• 수집된 DAU Data RESTful Service( servlet ) 개발
  • Google AppEngine 용 Servlet + RESTful Library(e.g. JAX-RS, restlet, etc.) 활용 개발

Python 기반으로 Google App Engine을 개발하는 사용자를 위해 l2bq의 파이썬 버전을 개발

l2bq 프레임워크의 시작 소스 코드인 mache 프레임워크를 분석하는 문서를 작성하여 향후 개발을 진행하는데 있어서 전체적인 이해를 돕도록 한다.

• 구글 드라이브 문서 작성
• SlideShare에 공유

• l2bq 에 의해서 처리된, BigQuery 에 저장된 데이터 Fetch 및 Processing 을 위한 모듈 구현

• Daily User Access Log 생성 모듈 개발
  • Login App Log 생성(Category Field + JSON format)
    • e.g. AppLog\t{ "key" : "value", ... }

참고 자료

• wagon-git
• Hosting Maven Repos on Github
• Maven Repository Centre
• Guide to uploading artifacts to the Central Repository
• Frequently Asked Questions About Project Metadata