isaintnik / ml-rank Goto Github PK

1. Берём наши три датасета
2. Реализуем на них стандартные PCA, ICA, t-SNE и пр.
3. Ищем другие способы ортогонализации и whitening датасета.
4. Применяем ряд решающих функций: линейную функцию, SVM и деревья в виде xgboost.
5. Оформляем скоры в качестве страницы на Wiki.

Не забываем коммитить получившиеся ноутбуки и прочее.

Там где t-sne не обучается из-за мощностей попробуем понять на какого размера сэмпле оно осиливает.

В прошлом спринте мы взяли регресионный датасет, бинаризовали в нём таргет и натравили нашу коронную процедуру. Давайте в этот раз возьмём честный датасет с классификацией.

Почитать и разобраться про mutual information.

Для других тасок нужен классификационный датасет на два класса, а не на 10. Чисто для скорости.

1. Для линейной модели - самые большие коэфф-ты по модулю

Раз мы начали с классификационног датасета, то давайте и у конкурентов сделаем то же самое. И заполним вики с ними.

Потюнить параметры обучения с помощью hyperopt или bayesian_optimization, а то у нас сейчас ни один метод FE не дал профита по сравнению с исходными факторами.

Если бить совсем по медиане, то существуют странные случаи, когда разбиение чисто по медиане даст фигню. Поэтому стоит ввести жадность по методе Игоря.

По итогам разговора с Игорь Евгеньевичем реализуем алгоритм ортогонализации факторов.

Он сейчас создаёт фичи разного размера.
И непонятно, что код будет делать, если у нас разных значений меньше, чем бинов, который мы хотим получить.

Давайте оформим получившиеся с прошлой недели скоры на нашей GitHub вики.

1. Статистика по .5 разбиению методом hold-out
2. Все методы должны использовать одно и то же количество точек для обучения/валидации

До этого мы бинаризовали зачем-то регрессионный датасет, вместо честной классификации.
И пытались t-SNE натравить на то, что у нас получалось после бинаризации фичей.
Давайте натравим на исходный факторы датасета. А сам датасет возьмём в котором исходная задача классификация.

Поиск оптимальной проекции таргета на пространство ортогональных фичей.

1. Энтропия между текущим значением таргета и фичей,
2. Посмотреть на веса (обучить модель на всех m оптмальных сабсетах) и отранжировать по значимости коэффициентов,
3. Рассмотреть формулировку задачи в итоге обсуждения с Игорем Евгеньевичем.

1. Первая фича нужна не рандомная, а давайте её выберем квадратом и выбираем его по максимальной кросс-энтропии.
2. Нужно не целиком добавлять фичу, а xor с ней от предсказанного значения.
3. Все последующие фичи тоже выбираем по максимальной энтропии.

В результате обсуждений поняли, что оптимальный сабсет на 10 фичей тоже нужен как бэйзлайн. Давайте его сделаем.

Это связано с тасками:
#14
#12
#11

Опять же по мотивам разговора с Игорь Евгеньевичем в понедельник.