ПАРСИНГ И МАТЧИНГ ДАННЫХ ДЛЯ ОПЕРАТИВНОГО АНАЛИЗА ДИНАМИЧЕСКИХ СИТУАЦИЙ
Поток огромных объемов информации различных структур, содержащих знания колоссальной ценности, растет с большой скоростью. Необходимость обработки качественно новых объемов различных типов, структурированных и неструктурированных данных, показала: традиционные подходы к их хранению и обработке стали неэффективными, а, следовательно, необходимы новые технологии. Учитывая масштабность задач, возникает потребность не только в разработке адекватного инструментария по анализу информации, но и построения оптимальной вычислительной инфраструктуры, которая была бы эффективной и не очень дорогой. Для решения этих задач был разработан специальный модульный программный инструментарий. Каждый модуль служит для решения определенных задач в рамках одной вычислительной инфраструктуры. Такой модуль может выступать и как полностью независимая система. Это позволяет выбирать только необходимые модули для обеспечения скорости и эффективности решаемых задач.
Ключевые слова
Анализ данных, сопоставление информации, информационные модули, синтаксический анализ, анализатор термов, алгоритм Джаро-Винклера.
Номер: 6
Год: 2017
ISBN:
UDK: 004.043
DOI:
Авторы: Шведов Д. И.
Информация об авторах: Шведов Даниил Игоревич – инженер-системотехник, старший
программист, ЗАО «Интерфакс», e-mail: Daniil.Shvedov@interfax.ru.
Библиографический список: 1. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. - М.: Горячая линия -Телеком, 2006. - 452 с.
2. Зак Ю. А. Принятие решений в условиях нечетких и размытых данных. - М.: Либроком, 2013. - 352 с.
3. Пегат А. Нечеткое моделирование и управление. - М.: Лаборатория знаний, 2013. - 800 с.
4. Марц Н., Уоррен Д. Большие данные. Принципы и практика построения масштабируемых систем обработки данных в реальном времени. - М.: Вильямс, 2016. - 360 с.
5. Варламов О. О. Системный анализ и синтез моделей данных и методы обработки информации в самоорганизующихся комплексах оперативной диагностики. Диссертация на соискание ученой степени доктора технических наук. - М., 2003. - 307 c.
6. Рассел Д., Кон Р. Синтаксический анализ. - М.: Книга по требованию, 2013. - 106 с.
7. Афанасьев В. Н., Юзбашев М. М. Анализ временных рядов и прогнозирование. - М.: Финансы и статистика, 2012. - 320 с.
8. Кремер Н. Ш. Теория вероятностей и математическая статистика. - М.: Юнита-Дана, 2010. - 551 с.