Light

f-lab-edu / it-hermes-crawling Goto Github PK

View Code? Open in Web Editor NEW

0.0 1.0 0.0 150 KB

🔖 IT 관련 컨텐츠 정보 알림 서비스 - 크롤링 서버

JavaScript 99.64% Dockerfile 0.36%

it-hermes-crawling's Introduction

IT-Hermes-Crawling

📎 서비스 링크

📎 IT-Hermes 애플리케이션 서버 레포
📎 IT-Hermes 배치 서버 레포
📎 IT-Hermes 프론트 레포

💭 IT 관련 컨텐츠 알림 서비스 - Crawling 서버

프로젝트 기간: 2023.01.04 ~

IT에 관심이 많은 유저에게 채용, 유투브, 뉴스 정보 등의 각종 IT 관련 컨텐츠를
유저 맞춤형으로 자동 알림해주는 서비스

IT에 관련된 채용, 유투브, 뉴스 사이트를 크롤링
10분 간격으로 배치서버의 요청을 받아 최신 IT 관련 크롤링 컨텐츠를 수집
깃허브 액션으로 CI, 젠킨스로 CD 구축
RabbitMQ를 이용해서 크롤링 데이터가 많아졌을시 장애 대응

📄 기술 스택

Nodejs, NCP,Javascript
Mysql 8.0,h2,Spring Data JPA
Jenkins, Github action
Docker, Docker hub
Feign Client
RabbitMQ

💭 전체 구조

it-hermes-crawling's People

Contributors

Watchers

it-hermes-crawling's Issues

Fix: 크롤링 관련 자잘한 이슈 수정

❗About

코딩월드뉴스 contents 부분 개행문자 제거
common.js에 중복되는 코드 제거
원티드 크롤링 이슈 수정
첫번째 요청에 데이터 받아오지 못하는 이슈 해결
변수 네이밍 표준화

📝 To do

코딩월드뉴스 contents 부분 개행문자 제거
common.js에 중복되는 코드 제거
원티드 크롤링 이슈 수정
첫번째 요청에 데이터 받아오지 못하는 이슈 해결
변수 네이밍 표준화

Feat: 코딩 월드 뉴스 크롤링 기능 구현

❗About

코딩 월드 뉴스 사이트 크롤링 코드 구현

📝 To do

파일 추가
제목, 본문 요약본 크롤링 코드 추가
사진 데이터 크롤링 코드 추가
날짜 데이터 크롤링, 형식 변환 코드 추가

Fix: 네이버 뉴스 날짜 못 받아오는 이슈 수정 및 불필요한 코드 제거

❗About

네이버 뉴스 크롤링 코드에서 날짜를 못 받아오는 이슈를 수정합니다.

📝 To do

날짜 jquery 선택자 수정
네이버 뉴스 크롤링 코드 불필요한 주석 제거 및 코드 정리

Fix: 크롤링 자잘한 이슈 수정

❗About

코딩월드 뉴스 날짜 못 받아오는 이슈 수정
네이버 뉴스 날짜 변환 함수 common.js로 빼기
원티드 마감일자 날짜 수정

📝 To do

코딩월드 뉴스 날짜 못 받아오는 이슈 수정
네이버 뉴스 날짜 변환 함수 common.js로 빼기
원티드 마감일자 날짜 수정

Feat : 공통코드 추가

❗About

공통으로 쓰는 코드가 있을 시, comm에 분리하는 작업을 합니다.

📝 To do

commonFunc, commonModule 분리

Fix: 원티드 크롤링 이슈 수정

❗About

원티드 크롤링 이슈 수정

📝 To do

Fix: request -> axios로 변환

❗About

요청을 두번 해야 데이터를 받는 이슈를 해결하기 위해 콜백기반 axios로 수정
request의 경우 promise가 아니라서, 많은 코드에 promise나 async/await 를 사용 시, 가독성이 다소 떨어질거라 판단하여, axios 사용
axios와 fetch 중 어떤걸 쓸지 고민이 많았지만, axios가 지정한 시간 초과 시, 별도의 작업을 처리하는 기능을 제공해주는 등 더 다양한 기능이 있다고 판단, axios로 수정을 하여, 해당 이슈를 해결할 계획

📝 To do

유튜브, 사람인 크롤링 라우팅 JS 파일 수정

Fest : 요즘IT 크롤링

❗About

요즘IT 기사의 크롤링(상세정보 URL, 제목, 날짜, 요약데이터(description), 썸네일이미지)한다.

📝 To do

위에 말한 데이터를 크롤링

Fix : Youtube 크롤링 업로드 처리시간 개선

❗About

puppeteer 라이브러리를 통해 실행 시 평균 4~5s의 처리시간 발생, 이를 개선하기 위한 이슈

📝 To do

request 모듈과 youtube에서 제공하는 JSON 데이터를 직접 크롤링함으로써, 평균 처리시간을 1s로 개선

Docs: 이슈 템플릿 수정

❗About

이슈 템플릿을 수정

📝 To do

이슈 템플릿 수정

Feat: 원티드 채용 정보 크롤링 코드 작성

❗About

원티드 사이트 채용 정보 크롤링 코드를 작성합니다.

📝 To do

파일 추가
router 추가 설정
채용 제목, 회사, 장소 크롤링 코드 작성
해당글 url, 경력 정보 크롤링 코드 작성

Fix: 네이버 뉴스 인코딩 이슈 수정

❗About

네이버 뉴스에서 글자가 깨지는 문제를 해결

📝 To do

네이버 뉴스 인코딩 이슈 수정

Fix: Request를 axios로 변환하기

❗About

Promise를 사용해서 비동기로 인한 문제를 해결하였지만 가독성을 위해서 request를 axios로 변환하려고 합니다..!

📝 To do

Request를 axios로 변환하기

Fix: page 파라미터 추가 & 예외 메시지 처리방식 수정

❗About

사람인 및 요즘IT 파라미터(페이징) 추가 구현
예외처리를 res.text로 할 시, 응답데이터를 재대로 보내지 못하고, 오류발생하는 이슈 존재

📝 To do

사람인 및 요즘IT 파라미터(페이징) 추가 구현
예외처리의 response 데이터 json으로 변환(추후 요청하는 batch 서버에서 예외처리할 때, 더 유지보수하기 좋을거라 판단)

Fix: 원티드,네이버 뉴스, 코딩 월드 뉴스 lasturl 정보 비교해서 크롤링해오는 로직 추가

❗About

원티드,네이버 뉴스, 코딩 월드 뉴스 lasturl 정보 비교해서 크롤링해오는 로직 추가

📝 To do

Fix: 응답데이터 일자 -> 일시, youtuber, descript 키 -> description으로 통일

❗About

서버에서 데이터를 받을 때, 동일한 타입으로 받아 최대한 코드를 줄이려는게 목적

📝 To do

유튜버 타입 변경
일자-> 일시 변경
description으로 변경

Prefix: 날짜 포멧 변경

❗About

날짜 포멧 JPA 형식에 맞게 통일

📝 To do

취업, 유튜브, 뉴스 서비스에 한개씩 포멧 설정

Feat : 유튜브 크롤링 기능 추가

❗About

유튜브 크롤링에 필요한 기능을 추가한다.

📝 To do

유튜브에서 크롤링할 데이터 추출
사용자가 구독을 활성화 한 것만 가져오게끔 구현
파라미터를 통해 가져올 때, 기존에 가져온 날짜 이전의 데이터는 가져오지 않게끔 구현
처음 데이터를 가져올 경우, 현재 일자 기준 데이터만 크롤링

Fix: 유튜브의 요청 방식 수정

❗About

기존 방식의 경우, 요청 하나에 여러 유튜버의 정보를 담아서 처리하려고 했지만, 유튜버 마다 크롤링 서버를 요청하는 것으로 수정
(이유) 추후 request 파라미터를 유튜버마다 다르게 처리할 수 있는 가능성이 존재할 수 있고, 이에 따라 파라미터가 길어지면 유지보수에 어려움이 있을거라고 판단

📝 To do

여러번 크롤링을 하기 위한 목적으로 만든 유튜버 리스트 제거
유튜버와 lastIndex(추후논의)를 파라미터를 통해 가져올 수 있게끔 수정(우선 임의로 데이터를 넣어놓고, 크롤링 서버를 요청할 서버(batch)를 만든 후 다시 리팩토링 계획)

Fix: 취업, 유튜브, 뉴스 Response 데이터 네이밍 표준화

❗About

기존에 서비스 분야(취업, 뉴스 등)의 응답 데이터 포멧이 다른 이슈가 존재
해당 데이터 포멧은 1차적으로 뉴스(요즘IT), 유튜브(노마드코더), 취업(사람인)으로 맞출 계획

📝 To do

youtube, yozm(요즘IT) 수정

Feat: 네이버 뉴스 크롤링 코드 작성

❗About

네이버 뉴스 크롤링 코드를 작성합니다.

📝 To do

네이버 뉴스 크롤링 파일 추가
크롤링 코드 구현

Fix: default URL 제거(사람인, 유튜브)

❗About

Default URL 제거

📝 To do

Default URL로 리스트에 정보를 삽입하는 사람인 및 유튜브 크롤링 코드 수정

Recommend Projects

React

A declarative, efficient, and flexible JavaScript library for building user interfaces.
Vue.js

🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript

TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
TensorFlow

An Open Source Machine Learning Framework for Everyone
Django

The Web framework for perfectionists with deadlines.
Laravel

A PHP framework for web artisans
D3

Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

javascript

JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
web

Some thing interesting about web. New door for the world.
server

A server is a program made to process requests and deliver data to clients.
Machine learning

Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Visualization

Some thing interesting about visualization, use data art
Game

Some thing interesting about game, make everyone happy.

Recommend Org

Facebook

We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft

Open source projects and samples from Microsoft.
Google

Google ❤️ Open Source for everyone.
Alibaba

Alibaba Open Source for everyone
D3

Data-Driven Documents codes.
Tencent

China tencent open source team.