Большинство классификаторов работают как с эвристическими правилами (составлены человеком) так и со статистическими данными, полученными в результате обработки тестовой коллекции документов.
Поэтому нужно подготовить тестовую коллекцию для работы классификатора.

"Общение" с БД должно осуществляться через промежуточный слой данных, который будет инкапсулировать тип хранилища с которым работает приложение.

На имеющейся тестовой базе нужно обучить классификатор, а также проверить корректность обучения. Для этого можно сделать перекрестную проверку:
разделить тестовые документы на две части и сначала провести обучение на первой половине, а проверку на второй, а потом сделать наоборот.

Некоторые токены представлены в виде И.О. Фамилия. Что может при некоторых вариантах парсинга приводить к потери инициалов. Например, М.С.Горбачев будет токенизирован как:
массив ["М",".","С",".","Горбачев"].

После фазы токенизации остается получаем много токенов, которые можно расценивать как "шумовые" или "мусор". Особенно это касается знаков пунктуации.
Также в список будут включены наиболее часто встречаемые слова в базе: предлоги, цифры, местоимения и т.д.