• Для воспроизведения расчета дивидендов из xls модели необходимы данные в соответствующем стандарте
• В последствии можно перейти на данные из интернета

FAIL Required test coverage of 99% not reached. Total coverage: 93.95%

где это сконфигурировано? надо поскорее отключить

R = (p1 + div) / p0

Пример запроса

• Посмотреть несколько известных проектов
• Выбрать наиболее популярные решения
• Настроить
• Вывести беджик в  readme

Конструктор:

• Набор тикеров и лотов (словарь)
• Объём кэша
• Дата и стоимость - используются для проверки корректности данных (отклонение расчетной стоимости не должно сильно отличаться от введённой)

Данные:

• Дата формирования портфеля
• Тикеры (кэш специальный тикер с ценой 1 и портфель специальный тикер с количеством 1)
• Лоты
• Размеры лотов
• Краткие названия
• Стоимость/цены/веса бумаг закрытия на дату формирования портфеля
• Текущая стоимость/цены/веса бумаг

Методы:

• Получить сводные данные по портфелю - без параметров
• Если передан массив меток, то информация по указанным в метках параметрам

https://github.com/WLM1ke/PortfolioOptimizer/blob/8d55dd398f50aed09053b818463f901d7a7c80f4/src/portfolio/loader_history.py#L110-L125

Необходимо реализовать метрики доходности по следующей приблизительной схеме:

• Формируются ряды цен с шагом в один месяц для всех активов из портфеля
• Засчитываются месячные доходности. Для коротких рядов отсутствующие значения заменяются 0. Для кэша - 0, для портфеля рассчитываются нуте взвешивания по текущим долям
• Вычисляется параметр сглаживания с помощью метода максимального правдоподобия для простого экспоненциального скользящего процесса с гетероскедастичностью
• С учетом полученной константы сглаживания насчитывается матожижание, СКО и беты всех активов
• На основе полученных значений расчихается ожидаемый DrawDown для всех активов
• Рассчитываются производные DrawDown по доле каждого актива

Необходима возможно динамически анализировать портфель и вести статистику:

1. Можно покупать и продавать бумаги

• должна быть возможность устанавливать издержки

2. Можно передвигаться во времени

• должно учитываться получение дивидендов
• сохраняться желаемые метрики портфеля

Необходимо для реализации #28

• Данные сохраняются в корне папки данных
• Функция получения всей информации
• Функция получения размеров лотов
• Функция получения последних котировок

По некоторым бумагам нет дивидендов: MSRS - необходимо придумать и реализовать альтернативную схему загрузки данных

Вопросы:

• Как часто должна обновляться информация - разово

В развитие #12

Кроме изменения тикеров у некоторых бумаг меняются и регистрационные номера - пример SBER.
Необходимость реализации под вопросом - если по ключевым бумагам текущая история уходит за 2008 год, то большого смыслы в реализации такой возможности нет

• Необходимо удалить старые выгрузки истории

Свежим взглядом - мое предложение насчет двух функций сейчас мне кажется перегружает понимание функций. Предлагаю для конечного пользователи оставить quotes_history(ticker, start_date) и index_history(ticker, start_date), где start_date - опциональный. Внутри кода можно использовать *_from_start() функции.

История котировок акций источник данных - quotes_history(ticker, start_date) и index_history_from_start(ticker)
Итория значений индекса MOEX Russia Net Total Return (Resident) источник данных - index_history(ticker, start_date) и index_history_from_start(ticker)

В текущей реализации функции quotes_history(ticker, first=None) выгружается одна котировка для каждой даты за счет элемента boards/TQBR/ в URL. В результате история котировок неглубокая - с начала работы режима Т+2 (TQBR). В результате не захватывается 2008 год.
Если исключить этот элемент из URL - длина истории возрастает, но на каждую дату может приходиться несколько котировок.
Необходимо реализовать:

• Выгрузку данных для всех режимов
• Сборку одного ряда данных
• Для дат с несколькими значениями выбирать режим с максимальным оборотом

Возможное решение с помощь groupby и idxmax

• Проверка, что количество бумаг равно количеству полей

Пример запроса

• Сделать проверку на 12 месяцев в данных и годы в столбцах
• Трансформацию из таблицы в серию

Данные
pd.read_excel('I_ipc.xlsx', sheet_name='ИПЦ', header=3,skiprows=[4], skip_footer=3)

https://github.com/WLM1ke/PortfolioOptimizer/blob/121e507e43627031797be6985a35d615aa68d96c/src/portfolio/getter/local_dividends.py#L36-L44

• docstrings
• init пакета
• readme

надо ли для проверки парсить эти данные по дивидендам?

https://www.moex.com/ru/listing/dividend-yield.aspx

Тикеры акций могут меняться. Так у текущего тикера UPRO очень не глубокая история, так как тикер менялся

• Подумать и реализовать более глубокую выгрузку для таких ситуаций - видимо надо искать все тикеры с соответствующим регистрационным номером
• Удалить все скаченные серии котировок

За основу взять этот код

Вспомогательная функци для #24

Не очень понятно зачем оборачивать функцию ticker_url - видимых выигрышей нет:

https://github.com/WLM1ke/PortfolioOptimizer/blob/c87a3b69355fd583cb975a41d18b9594c0bb46df/src/portfolio/loader_history.py#L38-L49

Разделить запрос последней цены и информации по тикерам
Запрос информации должен требовать одного похода в интернет в день
Запрос по последней цене требует обязательного обновления данных

Лог нормального или лог Стьюдента

Сейчас при расчете константы сглаживания отбрасываются первые 100 значений

Необходимо реализовать более формализованный подход:

• Еще на этапе формирования портфеля в массиве цен отбрасывать первоначальную часть, где представлена небольшая доля акций
• Обрезку по llh делать на основании верхней границы допустимого диапазона значений для константы сглаживания - например, исходя из 95% затухания

• Учесть движение курсора по данным
• Загрузка цен закрытия
• Загрузка оборотов

Описание протокола доступа к ИИС MOEX
Можно узнать дату начала торгов бумаги
Пример запроса истории котировок

• название dl неудачное, надо переименовать
• что делает пустой подмодуль load?

Описание интерфейса

1. Каждому типу данных соответсвует класс (или набор функций)

2. Конструктор класса принимает один или два параметра:

• Наименование элемента (обычно тикер)
• Флаг удаления локальных данных - значение по умолчанию False

3. Ответ является DataFrame:

• Индекс из упорядоченных по возрастанию дат
• Числовых (обычно) колонок с данными

Структура и поведение класса

1. Если флаг использования локальных данных True:

• Удаляются старые локальные данные
• Идет прямое обращение к функциям загрузки данных из интернета
• Данные сохраняются локально
• Возвращается ответ

2. Если флаг использования локальных данных False:

• Производится загрузка локальных данных при наличии
• Для данных предусматривающих загрузку из интернета с некой даты, определяет последняя локальная дата
• Загружаются данные из интернета с последней доступной даты или целиком при отсутствии возможности частичной загрузки
• Производится кросс-валидация данных для последней доступной локальной даты или для всех локальных данных - при различии выкидывается исключение
• Объединяются локальные и загруженные данные в единый DataFrame
• Объединенные данные сохраняются локально
• Возвращается ответ

Организация хранения даных

1. Данные хранятся в формате csv (при необходимости в xlsx)

2. Корневая папка с данным задается глобальной переменной на уровне пакета - первоначально папка data в корне проекта

3. Типы данных, содержащие один элемент, хранятся в корне папки данных в файле с именем соответствующего типа данных. Пример: класс данных инфляция - один элемент CPI - хранится в корне папки данных

4. Типы данных, содержащих несколько элементов, хранятся в отдельных папках с именем класса и файлами внутри с именем соответствующего элемента. Пример: класс котировки - много элементов, соответствующих отдельным тикерам - создается папка котировки и в ней файлы для каждого тикера

• Проверка наличия тикера
• Размер лота
• Наименование
• Проверка на наличие курсора в выдачи запроса по количеству полей в стандартной выдаче
• Последняя цена

Описание протокола доступа к ИИС MOEX
Пример запроса по AKRN

В выдаче IIS иногда бывают пропущенные значения - функция quotes_history(ticker, first=None) должна удалять их из выдачи

На MOEX насчитывается значение индексов полной доходности (учитывает дивиденды) с учетом налогов - больше всего подходит MCFTRR - MOEX Russia Net Total Return (Resident)

Пример запроса к ISS

Suggested to separate functions for:

• url construction
• response validation
• dataframe creation

https://github.com/WLM1ke/PortfolioOptimizer/blob/5e2ba1cbbdb8615bd04c548b2e71208ded9f013c/src/portfolio/loader_securities.py#L5-L54

Источник данных
Библиотека для парсинга данных
Пример кода

Основа подхода

Для оптимизации дивидендного потока портфеля необходимо максимизировать нижнюю границу его доверительного интервала для t-статистики=T (по умолчанию 2)

Поход к решению

Необходимо последовательно рассчитать метрики дивидендного потока по следующей схеме:

• За основу берутся legacy dividends за 2012 - 2016 годы
• С помощью CPI переводятся в постоянные цены 2016 года
• С помощью цен на отчетную дату портфеля переводятся в дивидендные доходности для 2012-2016 годов
• Рассчитывается матожидания дивидендных доходностей для отдельных позиций и портфеля с помощью простой средней
• Рассчитывается риск дивидендных доходностей. Для отдельных позиций в качестве меры риска используется СКО. СКО портфеля рассчитывается из допущения нулевой корреляции между дивидендами отдельных позиций - можно вывести аналитическую формулу. Допущение о нулевой корреляции необходимо в качестве простого приема регуляризации, так как число лет существенно меньше количества позиции. Данное допущение используется во всех дальнейших расчетах
• Рассчитываются беты дивидендов отдельных позиций и дивидендов портфеля относительно дивидендов портфеля - можно вывести аналитическую формулу. Бета портфеля при корректном расчете равна 1
• Для всех позиций и портфеля рассчитывается производная нижней границы доверительного интервала по доле позиции в портфеле - можно вывести аналитическую формулу на основе бет. Производная для портфеля при корректном расчете равна 0

После завершения #43 #44 #45

• Поднять параметр минимального покрытия