Code Monkey home page Code Monkey logo

techtrends.resheno's Introduction

Разработка автоматизированного метода оценки для системы по анализу технологических трендов

Задача

Агентству инноваций города Москвы необходимо разработать инструмент, который позволил бы находить технологические тренды и оценивать их с точки зрения:

⚪ жизненного цикла (зарождающийся, угасающий, стагнирующий и другие.)

⚪ регионального распространения

⚪ потенциала для дальнейшего роста

Разработать методологию оценки: какие показатели будут являться основой для оценки той или иной технологии. Чтобы понять, какие метрики будут валидны, нужно проанализировать давно существующие технологии и отрасли и проверить гипотезы на исторических данных.

Введение

В мире существуют много организаций, анализирующих технологические тренды: от агентств безопасности целых стран до коммерческих предприятий и консалтинговых компаний. Такие организации ставят себе разные цели, что влияет на методы анализа и метрики оценки. Подобные анализы занимают много времени и ресурсов: как людских, так и денежных. Но оно того стоит, так как информация о технологических трендах позволяет улучшать жизнь общества, повышать конкурентоспособность предприятий и снабжать их данными для принятия решений.

Кто ведет анализ трендов?

Ряд международных организаций (European Organization for Security, Организация экономического сотрудничества и развития OECD и т.д.) проводят исследования по выявлению перспективных научно-технологических направлений и зарождающихся технологий и оценке долгосрочных возможностей развития в отдельных областях

Национальные исследовательские центры (RAND — стратегический исследовательский центра США, Национальный совет по делам разведки США NIC) по заказам своих правительств ведут мониторинг перспективных направлений технологического развития в целях корректировки внутренней и внешней политики стран.

Академические учреждения, в том числе негосударственные, вносят значительный вклад в мониторинг глобальных технологических трендов. Объектами поиска здесь выступают новые технологии, «слабые сигналы» и «джокеры»1 , которые могут существенно повлиять на мировое социально-экономическое развитие в будущем. Подобные исследования реализуются за счет государственных и международных грантов или в рамках консультативной деятельности с использованием обширной информационной базы.

Крупные частные компании реализуют проекты по мониторингу технологических трендов в профильных сферах деятельности и смежных областях. Такие исследования дают им возможность обнаружения точек инновационного прорыва на ранних этапах, способствуя тем самым повышению гибкости бизнеса и его рыночной конкурентоспособности. (Shell, IBM, Microsoft Fujitsu, Morgan Stanley)

Консалтинговые компании, обычно носят узкоспециализированный характер и адаптированы к потребностям конкретных клиентов. Консалтинговые услуги чаще всего сфокусированы на бизнес-трендах, зарождающихся и прорывных технологиях в наиболее привлекательных для заказчиков областях (Garthner, Z-Punkt, Lux Research, Deloitte, Tech Cast, Batelle, Shaping Tomorrow, Trend Hunter). Какие методы применяют? качественные методы (обзор источников, экспертные опросы, интервью, разработка сценариев и др.) количественные методики (библиометрический и патентный анализ, сбор и обобщение данных в Интернете и т. д.). Известны многочисленные попытки автоматизации обработки информации о технологиях (полуавтоматический подход) и использования веб-инструментов для публикации и обсуждения полученных результатов в сети.

Описание метода выявления и анализа трендов

В нашем анализе мы применили количественный подход для выявления трендов и оценки жизненного цикла. Под полным жизненным циклом мы понимаем “описание последовательности всех фаз, этапов его существования от замысла и появления («рождения») до исчезновения («отмирания»)”. В результате изученных методик оценки трендов, а также исследований по данной теме мы выделили следующие стадии жизненного цикла трендов:

  • Зарождение;

  • Рост;

  • Пик;

  • Зрелость(Стабильность);

  • Затухание.

Источники данных

В научных работах, посвященных оценке и мониторингу трендов для анализа используют схожую информацию для анализа. Так большинство авторов отдают предпочтение библиометрическим базам данных — для отслеживания исследовательских фронтов и зарождающихся технологий — либо патентным — для поиска информации о технологических решениях и приложениях в определенной предметной области. Кроме этого, источниками данных для технологического мониторинга могут служить: новости; отчеты о деятельности венчурных фондов, стартапов и др.

image

Описание этапов процесса выявления и оценки трендов

Мы предлагаем процесс выявления и оценки трендов по жизненному циклу, состоящий из 2 фаз и 14 основных этапов. Причем формальное содержание каждого этапа возможно адаптировать под конкретные цели исследования. Так например, можно менять первичный запрос к источникам данных, на основе которого формируются данные для оценки трендов, сами источники данных, расширять набор показателей для оценки и тд.

image

image

Выявление трендов

Первичный список трендов для анализа предлагается определять кластеризацией по корреляционной матрице ключевых фраз и слов. Для демонстрации этого вручную создадим пример данных в который изначально заложены кластеры:

  1. Work From Home (WFH)
    Teleccomunication tech|VR conference
  2. Cloud-based HR
    HR platforms| CLOUD
  3. Employee Wellness Programs
    personalized health|gamification|mental health app
  4. Learning and development
    online training|individualized career pathing|Train the Workforce with VR
  5. AI
    AI recruitment|AI LMS|HR AI Analitics

Заполним таблицу вхождения ключевых фраз в статьи так, чтобы они объединялись в кластеры(слова из одного кластера будут чаще встречаться в одних и тех же статьях).

image

Можно использовать также кластеризацию по матрице встречаемости слов в статьях и сравнить результаты на реальных данных. Оба способа на примере дают одинаковый результат. Если применять Kmeans, можно использовать Elbow метод для определения оптимального числа кластеров. Можно использовать DBSCAN для определения числа кластеров алгоритмом. Из примера видно, что ключевые фразы нужно отбирать такие, чтобы кол-во статей, где они содержатся было >3,4,5... В зависимости от итогового распределения.

Методы оценки трендов

Оценка трендов по патентной активности

Метод заключается в приоритизации патентов. Любая серьезная технология, прежде чем выйти в свет, должна быть запатентована. В пример можно поставить Apple Watch, технология создания которых была запатентована еще за 10 лет до выхода самих Apple Watch. Рассматривая все полученные данные, видно выраженную особенность патентов - они платны и для того, чтобы что-то запатентовать, нужно потратить гораздо больше усилий, чем просто написать статью или написать запрос в гугле. Погружаясь глубже, можно заметить, что патенты могут тормозить некоторую технологическую область, так как не каждый готов развивать технологию, за которую в дальнейшем придется платить тому, кто ее запатентовал. Можно сделать еще одно логичное предположение - чем больше патентов, тем сырее технология, ведь если в какой-либо области нашлась возможность что-то запатентовать, значит область до конца не исследована и есть что придумать. Из всех вытекающих ранее логичных предположений следует вывод - патенты замедляют рост какой либо технологии, именно поэтому в нашей формуле y = (x1 + x2 + x3 + x5/x4) / x1, где x1 - патенты, целевая переменная y выглядит именно так.

Оценка трендов по матрице коммерческого потенциала и исследовательской активности

За основу оценки примем показатель CAGR (compound annual growth rate) - совокупный среднегодовой темп роста. Показывает, на сколько в среднем за год прирастает изучаемый параметр.

image

На основе этих двух интегральных показателей можно составить матрицу для оценки стадии жизненного цикла тренда. image

Оценка топ прорывных и устойчивых трендов

Оцениваем временные ряды трендов на основе показателей: Прорыв - наличие экспоненциального (или близкого к нему) роста за последние 3 года.

Устойчивость - отсутствие периодов снижения роста более чем на 20% Темп роста >=0.8 последние 5 лет.

image

На основе показателей прорыва и устойчивости формирование ТОП устойчивых и прорывных трендов по видам источников Тренды можно считать прорывными в течении последних 3 лет и устойчивыми на протяжении всего периода оценки трендов.

image

Оценка трендов по схожести/взаимосвязанности

На основе кластеризации корреляционной матрицы ключевых фраз можно предположить, что тренды находящиеся в одном кластере имеют взаимосвязь. То есть при изменении динамики роста одного тренда, другие тренды, находящиеся в одном кластере с первым, также изменят динамику схожим образом.

Выводы и рекомендации

  1. Сложности при проведении анализа: доступ к источникам данных. Как правило, бесплатно можно получить ограниченное количество данных от таких платформ, как Scopus или Arxiv, для доступа ко всей базе данных нужно внести оплату или получить иную авторизацию.
  2. Использовать существующие мировые и российские наработки в области анализа трендов. Например НИУ ВШЭ активно развивает анализ трендов, ежегодно выпускает результаты анализа, которые можно использовать. Возможно объединять усилия в совместных наработках.
  3. Предлагаемый нами метод - модульный. Каждый этап можно можно изменять и улучшать в зависимости от потребностей и накопленной информации, дополнять новыми этапами.
  4. Улучшать методы интерпретации трендов, т.е. найти NLP алгоритм для выявления трендов для анализа, чтобы дать хорошее определение тренду с помощью ключевых слов.
  5. Увеличивать количество источников данных для анализа.
  6. Увеличивать количество показателей для анализа.

Список литературы

  1. Mikova N., Sokolova A. (2014) Global Technology Trends Monitoring: Theoretical Frameworks and Best Practices. Foresight-Russia, vol. 8, no 4, pp. 64–83. https://foresight-journal.hse.ru/data/2016/01/22/1137719339/06-Микова-64-83.pdf
  2. Берг Д.Б., Ульянова Е.А., Добряк П.В. Модели жизненного цикла. Учебное пособие. - Екатеринбург: Изд-во Урал. ун-та, 2014. — 74 с. Табл.8. Рис.30. - ISBN 978-5-7996-1311-2. https://elar.urfu.ru/handle/10995/28886
  3. P. Isenberg, T. Isenberg, M. Sedlmair, Jian Jhen Chen, Torsten Möller (2017) Visualization as Seen through its Research Paper Keywords. IEEE Transactions on Visualization and Computer Graphics. https://www.vis.uni-stuttgart.de/documentcenter/staff/sedlmaml/papers/isenberg2016tvcg.pdf
  4. Мониторинг глобальных трендов развития сферы ИКТ. Ростелеком. 2017 https://digitaltrends.rt.ru/2017.pdf
  5. Patents and innovation: Trends and Policy Challenges by OECD (Organisation for Economic cooperation and Development) https://www.oecd.org/science/inno/24508541.pdf

techtrends.resheno's People

Contributors

nastyasnk avatar oxanok avatar ramory-l avatar

Watchers

 avatar

Forkers

oxanok nastyasnk

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.