Thảo luận về việc xây dựng hệ thống crawler about golang-training HOT 3 CLOSED

Hi @tpphu
Da, cai nay la crawl 1 url tu chon hay nhieu url cung 1 luc anh, cho em hoi la cai bai pre-assignment lan truoc em lam va bay gio van di theo huong do, anh @tpphu thay on khong?

from golang-training.

1. Về mặt lý thuyết thì việc dạy, anh không thể mở rộng bài tập thành một dự án với scope lớn thế này. Chúng ta chỉ trao đổi để cùng nhau hiểu rõ hơn vấn đề mà thôi.
2. Bài tập mà các bạn làm lần trước khá đơn giản. Chúng ta cần phải thiết kế lại cho ổn hơn chút, để làm sao đạt được nhiều hơn thì càng tốt.

from golang-training.

Như đã bàn trên lớp,

Chúng ta thiết kế bài tập này và các điều mà các bạn cần đạt được là:

1. Cần thiết kế chương trình để chia tách nghiệp vụ ra thành các gorountines hoạt động độc lập và sử dụng channels để trao đổi dữ liệu với nhau. Bài tập khuyến khích các bạn sử dụng:
   1.1. DB để quản lý và cập nhật dữ liệu.
   1.2. Khuyến khích các bạn nghĩ về hướng serverless theo nghĩa đơn giản là: chương trình có thể chạy được trên nhiều server độc lập.
   1.3. Khuyến khích các bạn viết Unit Test càng nhiều càng tốt.
2. Phú đã thiết kế một pattern code đơn giản để các bạn có thể add vào bất kì một site nào theo mô hình đó mà chương trình có thể crawl được.

from golang-training.