nastybits / go-core Goto Github PK

Для быстрого поиска документов требуется хранить их в виде бинарного дерева. Для дерева должны быть определены операции вставки и поиска элемента.

Нарисовать своё представление схемы пакетов окончательной версии Интернет-поисковика. Схема должна содержать связи между пакетами в виде стрелок, указывающих направление зависимости (стрелка указывает на зависимость). Схема должна быть представлена в виде картинки, которую умеет показывать Гитхаб.

• Реализовать бинарное дерево поиска с операциями вставки и поиска элементов
• Переделать хранилище документов на использование дерева.
• Использовать поиск по дереву вместо бинарного поиска при поиске документов по ID индекса.
• Написать функции удаления элемента и разворота списка так, чтобы успешно выполнялись соответствующие тесты.

Поскольку наш поисковик хранит состояние, то логичнее представить его как объект.

Разработать структуру данных для сервера поисковика. Предлагается создать отдельный исполняемый пакет, в котором была бы разработана структура данных и методы для приложения-сервера.

То есть отдельный пакет именно для службы поисковика. Этот исполняемый пакет становится ядром системы и точкой входа для пользователя: он должен вызывать сканирование сайтов, обработку поисковых запросов из консоли и т.д.

Переписать функции поисковика в виде методов. Функции сканирования документов, работы с хранилищем документов и обработки поисковых запросов должны быть реализованы в виде методов сервера. Естественным образом должны исчезнуть все глобальные переменные.

• Создать интерфейс для поискового робота. Интерфейс должен называться Scanner и содержать один лишь метод Scan с
  сигнатурой, идентичной имеющемуся методу пакета «crawler»
• Подключить поисковый движок к поисковому роботу через интерфейс.
• Создать пакет-«заглушку». Пакет, который бы реализовывал интерфейс Scanner, но выдавал жёстко закодированные данные.

Для повторного использования полученных сканером данных требуется сохранить их в файле и восстановить при запуске программы. При этом после запуска поисковый движок всё равно должен отдать команду на сканирование сайтов, но до окончания сканирования он должен отдавать данные, загруженные из файла.

• Разработать механизм записи полученных от сканера данных в файл. Это должен делать поисковый движок по окончании сканирования сайтов. Формат представления данных для хранения выбирайте на своё усмотрение.
• Загрузка данных из файла при старте поискового движка. Эти данные должны использоваться для поисковой выдачи до окончания сканирования сайтов.
• (Дополнительное) Разработать имитацию файловой системы в оперативной памяти и написать модульные тесты для сохранения и загрузки данных из файлов используя созданную имитацию файловой системы.

Это стандартный приём тестирования, когда внешняя зависимость подменяется имитацией. Для этого ваша ФС в памяти должны реализовать контракт интерфейса, который использует ваша программа для работы с внешней зависимостью. В данном случае – интерфейс файловой системы.

Для быстрого поиска слов в документах используется обратный индекс (ru.wikipedia.org). Поскольку индекс отсортирован, то для можно воспользоваться бинарным поиском для ускорения поисковой выдачи.

**Создать обратный индекс для документов. Разместить индекс в пакете «index».** 

Теперь поисковый робот должен передавать документы на индексирование. Проиндексированные документы должны храниться в объекте из пакета «index». Документы должны быть представлены в виде структуры данных. При этом для каждого документа нужно добавить его номер – поле в структуре данных вместе с URL и Title.
Массив документов должен быть отсортирован по номерам, используя сортировку из стандартной библиотеки.

**Переделать метод поисковой выдачи на использование индекса.** 

Для поиска по индексу поисковый движок должен импортировать поисковый индекс из пакета «index» как зависимость и искать по индексу, а не по массиву документов. Поиск по индексу должен выдавать номера документов (поле в структуре данных документа).

**Использовать бинарный поиск по массиву документов (по номерам документов).** 

Можно воспользоваться стандартной библиотекой или написать свою реализацию.

Для будущей безопасной переработки кода нужно покрыть тестами бизнес-логику системы.
Написать тесты для пакета поискового робота, индекса и движка