coolteam74 / petsearchbackend Goto Github PK

• Сервис для ожидания результата асинхронного запроса к микросервису распознавания изображений животных
• Сериализация/десериализация изображений и доработка механизма отправки сообщений в очередь redis
• Сделать rest методы асинхронными

На данном этапе решили создать такую модель: клиент считает по входному видеопотоку дескрипторы, отправляет на сервер, где по нему ищется соответствие в базе. Соответственно вопрос: дают ли готовые фреймворки возможность получать дескрипторы по фотографиям лиц и если да, то какие? Если нет, то создать свою такую модель.

Необходимо реализовать:

• методы авторизации + сериализация/десериализацию передаваемых данных в Google Protocol Buffers.
• Добавить поддержку безопасного соединения по https.
• интегрировать с Spring Security на backend-е

Для регистрации пользователя создать метод register. Для авторизации использовать метод login из spring security.

В основном касается модели.

• Настройка TF Serving и загрузка модели
• Подключение tf serving к микросервису распознавания питомцев по http (с помощью flask) либо по grpc (добавить описание сообщений и сервиса передачи)

• Исследовать существующие механизмы обнаружения сервисов
• Подключить наиболее подходящий механизм обнаружения сервисов (Consul) к проекту PetSearchApiGateway

• Добавить в pom конфигурацию для автоматического создания документации REST api
• Реализовать тесты, создающие документацию по существующему REST API

Необходимо изучить:

• Java Core (уметь написать многопоточный код, правильно расставлять синхронизации и блокировки, уметь реализовывать код в ООП стиле, писать модульные тесты с JUnit)
• Научиться использовать git и github, работать с git из командной строки и из IDEA
• Изучить основы web-разработки на java (сервлеты, фильтры, сессии, куки,...)
• Научиться работать с базами данных (JDBC и изучить ORM Framework Hibernate + JPA + Spring Data JPA)
• Spring and DI/IoC, Spring Web + REST

Сейчас storage-service падает при старте из-за некорректной конфигурации персистентности. Необходимо исследовать причину падения и исправить.

How to demo: Сервис стартует без ошибок. Для postgresql и mongodb подтягивается корректная конфигурация.

Отправная точка нашего датасета - соревнование Dog Breed Identification - https://www.kaggle.com/c/dog-breed-identification. "Словарь" пород содержит 120 классов, каждый их которых необходимо расширить хотя бы на 100-200 сэмплов (больше - лучше). Для начала это можно сделать при помощи библиотеки для скрапинга с google images - https://github.com/hardikvasa/google-images-download. В директории с проектом, в папке data необходимо создать папку images, в которой, для каждой из 120-ти пород также создать свою папку. В каждой такой папке и будут помещаться фотографии с собачками. Разметку необходимо хранить в директории data/labels.csv по примеру того, как это сделано в соревновании.

• Механизм подключения и отправки сообщений в очереди redis
• DTO для сообщений очереди
• listener для очереди входящих сообщений

Добиться качества классификации пород ~0.98 на отложенной выборке. Изучить дескрипторы получившейся модели на предмет возможности их использования для поиска определенной собачки по базе.

реализовать сервис users-service для работы с пользователями и авторизации/аутентификации. доработать механизм security для api gateway

Добавить заготовку для веб-морды проекта

• добавить пустой проект
• сконфигуровать базовую структуру основной страницы (захват видео + кнопки действий)
• добавить заглушку rest-api для связи с backend

Примеры:
https://o7planning.org/ru/11723/understanding-spring-cloud-config-server-with-example
https://o7planning.org/ru/11727/understanding-spring-cloud-config-client-with-example#a15428243

https://spring.io/guides/gs/centralized-configuration/

необходимо убрать захардкоженные теги из entity объявления. вместо них должен быть реализован сервис, создающий и наполняющий стандартные теги для объявления при создании объявления. Также должна быть возможность получить нужный системный тег из объявления, а также значение произвольного пользовательского тега по его названию.

Сейчас имеются DTO, например, AdvertDto implements Serializable.

Возможны два варианта дальнейшего их использования в проекте:

1. Используем lombok и общий модуль common. Какой-то большей универсальности не требуется.
2. перевести DTO как наследников DtObject -> мапа пропертей - интерфейс, который можно будет использовать во всех проектах (находится в модуле common).

• добавить Spring Security, сконфигурировать
• настроить механизм стандартной авторизации и аутентификации с логином и паролем, настроить custom user service
• добавить rest-endpoint и авторизацию через rest

• rest api
• подключение redis
• формат сообщений redis
• схема базы данных

Лог прилагается.
Ошибка "java.sql.SQLFeatureNotSupportedException: Метод org.postgresql.jdbc.PgConnection.createClob() ещё не реализован" падает при старте приложения

реализовать механизм обнаружения сервисов (например, с помощью eureka)

переработать структуру проекта таким образом, чтобы все части сервиса были в одном репозитории и проект maven стал многомодульным.

Для обмена сообщениями используется RabbitMQ (стоит также обдумать использование Redis).
Реализация прототипа подразумевает наличие в модуле common общего для всех сервисов интерфейса Saga и механизмов взаимодействия с очередью.
Также должно быть переработан механизм персистентности (сохраняем в бд события, а не бизнес-объекты)

• создать для каждого из компонентов (узлов) системы по репозиторию
• перенести код, примеры, наработки из соответствующих папок данного репозитория в новые репозитории

доска проекта остается общей для следующих компонентов системы:

• API Gateway
• микросервисы
• веб-фронтенд

Необходимо реализовать механизм миграций, который позволит при изменении версии приложения при запуске проводить изменения схемы данных.

Создать application.yml и перенести настройки из application.properties в application.yml

Для таблицы в бд QueueMessages необходимо реализовать очистку по планировщику (например, раз в день), а также чтобы обработанные сообщения удалялись из таблицы.

• Определить пользователей системы, API взаимодействия с системой
• Модульная структура проекта: модули и их взаимодействие. Создание заглушек проектов (хотя бы папки)

В сервисе advert-service необходимо поправить конфигурацию eventuate.tram.sagas. Сейчас SagaManager ожидает получить на вход SagaInstanceRepository, которого нет в контексте.

Update community profile of repository

• Description
• README
• Code of conduct
• Writing contributing guidelines
• License
• Pull request template

• Изучить существующие движки полнотекстового поиска для java (Lucene, Elastic Search, Solr, ..)
• Добавить один из них в проект, реализовать возможность поиска по объявлениям (прототип)