TAdviser SummIT 2021 состоялся 23 ноября 2021 и прошел в смешанном формате: онлайн и офлайн. Участники саммита обсудили насущные вопросы, стоящие перед бизнесом. Многие поделились конкретными кейсами и историями из своей повседневной практики. Секция Big Data и BI состояла из двух частей. Первая часть началась с дискуссионного блока, в котором планировалось поговорить о том, что значат данные для государственного сектора и как этими данными управлять.

Перед началом дискуссии Екатерина Потапова, руководитель направления исследований и аналитики Центра подготовки руководителей и команд цифровой трансформации ВШГУ РАНХиГС подчеркнула, что сейчас руководители, занимающиеся цифровой трансформацией — как на высоком уровне в федеральных органах, так и в регионах — особенно остро нуждаются в знаниях о новых подходах к бизнесу, новых практиках в управлении. По её мнению, госслужащие должны ориентироваться в теме Big Data по нескольким причинам. Во-первых, без данных невозможна цифровая трансформация, и умение работать с ними должно быть частью квалификации госслужащего. Во-вторых, данные помогают руководителю принимать обоснованные решения и делают систему более управляемой, а повседневные задачи с их помощью решаются быстрее и эффективнее. Для цифровой трансформации государству необходимо перейти на новый уровень принятия решений: таких, которые делаются на основе данных, что невозможно без выстраивания процессов и улучшения навыков управления биг датой.

Екатерина Потапова, руководитель направления исследований и аналитики Центра подготовки руководителей и команд цифровой трансформации ВШГУ РАНХиГС

Сейчас проблемы следующие. Государству не хватает эталонных источников данных, а те данные, что есть, не всегда хорошего качества. В самых используемых информационных системах их качество неплохое, в остальных же — требует серьезного улучшения. Параллельно во всем мире нарастает общее падение доверия граждан к государству.

Россия, по данным Edelman Trust Barometer, к сожалению, в пятёрке антилидеров по этому показателю. Управление данными может повысить прозрачность в госуправлении, — считает Екатерина Потапова.

Государство это понимает. В Счётной палате аудиторы уже не могут работать без аналитики. Здесь активно внедряют инструменты BI и разрабатывают программных роботов.

Я ожидаю, что мы выйдем на иной уровень выявления нарушений в ближайшие несколько лет. Раньше мы искали их вручную, теперь помогают роботы, которых мы сделали, — рассказывает Елена Бойцова, директор департамента финансового аудита, Счетная палата РФ. — Нужно максимально развивать автоматизацию.

Елена Бойцова, директор департамента финансового аудита, Счетная палата РФ

Программное обеспечение — это хорошо. Но грамотный подход — гораздо важнее. Так считает ещё один участник дискуссии, Олег Гиацинтов, эксперт Центра подготовки руководителей и команд цифровой трансформации ВШГУ РАНХиГС.

Нужно не просто внедрить какой-то инструмент. Мы сейчас часто наблюдаем ситуацию, когда в коммерческих и некоммерческих структурах есть программный продукт, но ничего не меняется, хотя сделали Data lake. Или наняли дата сайентиста, но он ничего не делает, только получает высокую зарплату. В компании не знают, что с ним делать. В первую очередь нужно чётко видеть цель, хорошо понимать задачу и свои ожидания.

Олег Гиацинтов, эксперт Центра подготовки руководителей и команд цифровой трансформации ВШГУ РАНХиГС

Модератор подхватила эту тему и спросила, какого же эффекта ждут госорганы, например, от витрин данных для каждого конкретного ведомства и для страны в целом. С одной стороны, эти витрины являются частью НСУД, с другой стороны — это компоненты СМЭВ.

Гибридная конструкция, но она объяснима, — отвечает Сергей Сергиенко, советник министра цифрового развития, связи и массовых коммуникаций РФ. — Часть СМЭВ, потому что нас интересует те данные, которыми пользуются другие ведомства и представители бизнеса, прежде всего, банки, которые подключены к этой системе. Эти витрины часто путают с аналитическими витринами, но это неправильно. На наших размещаются результаты деятельности организации, то есть это данные реестрового характера, которые нужны для исполнения госфункций.

Сергей Сергиенко, советник министра цифрового развития, связи и массовых коммуникаций РФ

Прямой эффект увидят граждане. Он будет выражен в скорости доступа к госуслугам онлайн.

В этом году появилось нормативное основание, которое диктует: от момента запроса до получения ответа может пройти не больше двух секунд. Если данные есть — госуслуги должны выполняться здесь и сейчас. Витрины нужны и для оказания проактивных услуг, и для повышения качества данных», — объясняет Сергей Сергиенко.

Ни аналитика, ни сложные информационные системы не «взлетят» без налаженной ИТ-инфраструктуры. Внедрять её в госсекторе — отдельная и непростая задача. О работе в этой области говорил Александр Филатов, начальник Управления по работе с данными в распределенных вычислительных сетях, Департамент информационных технологий города Москвы. Нормативная база не всегда успевает за теми отношениями, которые складываются в области больших данных, за потребностями по их передаче, созданию дата-сетов и применения их в ML.

Но мы видим, что в верхних эшелонах власти уже выходят указы, которые призваны это отставание сократить. Первый шаг — юридическая проработка вопроса. Только после этого начинается технологическая работа по подсоединению к источникам данных. Что касается технологического стека — мы стараемся двигаться в общем тренде импортозамещения, и в первую очередь обращаем внимание на продукты с открытым исходным кодом. У этого ПО уже достаточно развит функционал, который соответствует нашим задачам, а на рынке хватает специалистов с нужными навыками работы, — поделился участник дискуссии.

Александр Филатов, начальник Управления по работе с данными в распределенных вычислительных сетях, Департамент информационных технологий города Москвы

Во второй части планировалось много говорить о конкретных решениях, в дискуссионном же блоке решили обсудить подход к их выбору в целом.

С учетом того, что области знаний в части работы с данными многогранны, у нас уже есть хорошие кейсы, но они разные, — говорит Виталий Сазонов, CDO Центра подготовки руководителей и команд цифровой трансформации ВШГУ РАНХиГС. — Единой «таблетки» нет. Мы следуем такому тренду: как можно быстрее стараемся получить данные и качественно их подготовить, потом сделать их доступными, потому что ими нужно заниматься не только аналитикам и дата сайентистам.

Виталий Сазонов, CDO Центра подготовки руководителей и команд цифровой трансформации ВШГУ РАНХиГС

Критерий необходимости внедрения систем управления данными простой.

У вас должна быть какая-то боль, связанная с получением информации: по времени или достоверности. У вас должно быть недоверие к собственной отчётности, вы не понимаете, что вам приносят, и ожидаете данных месяцами или даже годами — тут должна быть боль. Если боли нет, то вы ещё не созрели, — подвёл итог дискуссии Олег Гиацинтов.

Платформенные надежды: как быстро сложить триллионы цифр

Как развивается платформа работы с данными в финансовой организации объяснил Сергей Орешкин, директор департамента по работе с данными, «Московская Биржа». Здесь для глубокой аналитики рынков используют массивно-параллельную обработку больших данных на базе Hadoop. 2020 год принес компании больше клиентов, и данных, соответственно, тоже стало больше: они увеличились в два раза. Перед биржей встала задача управления ликвидностью, то есть параметром, который показывает, насколько быстро клиент может совершить сделку. Если её удается закрыть быстро, то рисков ликвидности не возникает, и все довольны.

Чтобы управлять ликвидностью, нам нужно по каждому инструменту и на каждом рынке в оперативном режиме просчитывать метрики. У нас много инструментов, по каждому придется считать от 500 до 2000 метрик, при этом для каждой метрики есть разное количество параметров, всё это надо учесть. А главное, мы считаем данные для разных типов «стаканов», то есть совокупности заявок, выставленных на покупку и на продажу в единицу времени, — рассказывает докладчик. — Даже на один инструмент получается достаточно большое количество вычислений. А нам нужно было, получив с утра логи торгов, что-то около 100 млн в день, восстановить из них «стаканы», а потом рассчитать для каждого типа свои метрики. Получалось, что за два часа нужно выполнить больше 85 трлн вычислений, при этом для ретроспективного сценария, когда берется часть метрик за весь год, время на расчеты не должно превышать несколько дней.

Сергей Орешкин, директор департамента по работе с данными, «Московская Биржа»

У Oracle EXADATA оказалась слишком низкая скорость для таких расчётов, в Spring Java было невозможно равномерно распределить нагрузку на узлы, что привело бы к неоптимальному расходованию серверных ресурсов. Подошел облачный Hadoop с Java Spark, на нем сделали пилот, но не смогли удовлетворить требованиям безопасности, так как они довольно суровы для финансовых организаций.

Но мы уже поняли, какая конфигурация в Hadoop для нас оптимальна, смогли просчитать различные варианты стоимости владения, — делится опытом Сергей Орешкин. — Конечно же, по ТСО облако давало самый лучший результат, оно предоставляет отличную скорость и неограниченное количество мощностей, которое не всегда можно себе позволить внутри компании, но мы не пошли туда по соображениям безопасности. Фаза прототипа успешно пройдена, сейчас целевое решение имплементируется на базе Hadoop on-premise.

Экономим на хранении данных и улучшаем ИТ-инфраструктуру

Сергей Юдин, руководитель группы по управлению системами хранения данных, X5 Group, предложил подумать о том, какие методы можно применить, чтобы сделать хранение данных дешевле. Сейчас в компании данные растут быстрее, чем это происходит согласно графикам роста в мире.

Такое количество данных требует особого отношения к системам хранения, — подчёркивает спикер.

Сергей Юдин, руководитель группы по управлению системами хранения данных, X5 Group

Можно выбрать разные подходы к оптимизации хранения. Снижать CAPEX, OPEX, риски, стоимость простоя или совокупную стоимость владения. В X5 решили пойти по последнему пути. На практике это означало, что нужно заняться консолидацией данных. Однако если вендоры обещали, что в блочных и файловых системах можно высвободить полезный объём 4 к 1 за счёт компрессии, дедупликации, снепшотов и прочего, то в реальности так получается не всегда. Предложенные методы работают не на всех типах данных или сложноприменимы в крупных компаниях. Совет X5: нужно использовать сортировку данных по нагрузке и по протоколам доступа.

Ещё один лайхак, которым поделился спикер — нужно получать как можно больше скидок от вендоров, правильно создавая технические задания для тендеров.

Если бизнес не взаимодействует с клиентом онлайн — он его теряет. Антон Михаленко, управляющий директор департамента управления данными (SberData), «СберБанк», рассказывает, как работает типовой сценарий real time data processing в банке, а после отмечает, что возникла проблема: для некоторых пользователей текущая инфраструктура явилась «узким горлышком».

Сейчас мы держим петабайт данных в горячем состоянии и раздаем потребителю 200 тысяч событий в секунду. Бизнес хочет от нас больше кейсов в режиме реального времени, скоро количество событий повысится кратно, до 10 млн. Мы смотрим на наше железо и понимаем, что надо меняться, иначе в любой момент можем деградировать.

Антон Михаленко, управляющий директор департамента управления данными (SberData), «Сбербанк»

Сейчас в компании решено перейти на SSD, так как стоимость их снизилась, и есть возможность повышения производительности за счет ПО. Чтобы реализовать вторую опцию, с SSD используют специальное ПО, причём СУБД выбиралась после тестов. Рассмотренных производителей докладчик не назвал, но отметил, что хотя все декларируют отличные бенчмарки, внутренние тесты банка показали, что одна из СУБД под SSD показала колоссальный результат в виде 30-кратного роста производительности.

У нас не осталось сомнений, что, помимо железа, надо поменять и СУБД дискового хранилища, — комментирует Антон Михаленко.

Искусственный интеллект как приложение к естественному уму

Говоря о больших данных, нельзя обойти тему искусственного интеллекта. Он стал основой продуктов таких корпораций-монстров, как Google.

Эта компания знает тренды, и в 2018 году с её подачи искусственный интеллект стал ключевым для многих решений, — говорит Адель Валиуллин, исполнительный директор департамента анализа данных и моделирования, «Газпромбанк».

По его мнению, ИИ — это не только конкурентное преимущество, но уже и ИТ-стандарт для многих сфер бизнеса. С развитием этой технологии автоматизация становится всепроникающей, повторяющиеся процессы заменяются, а в командах появляются новые роли.

У искусственного интеллекта есть свои особенности, которые стоит иметь в виду. Во-первых, работа с ним похожа на научную.

В области машинного обучения вы имеете дело с цифрами, конверсиями, воронками, и это похоже на то, как делается работа в научной области, — считает Адель Валиуллин. — Выдвигается некая гипотеза, затем проверяется.

Во-вторых, тут много провальных проектов, и это норма.

Если бизнес упрекает в том, что внедренный ИИ работает как-то не очень, то вы можете показать статистику. Из 100 проектов, запущенных в прошлом году, 87 вообще не внедрились, так что мы ещё выше рынка, — говорит выступающий.

Критерии запуска ИИ-проектов в компании: экономический эффект, регулярность процесса и главное — наличие достаточного количества данных.

Адель Валиуллин, исполнительный директор департамента анализа данных и моделирования, «ГазпромБанк»

Наконец, ИИ отличается от других ИТ-продуктов, потому что в них, обычно, есть пользователь продукта, который сразу даст знать, что всё сломалось. В области искусственного интеллекта цепочки обратной связи нет, поэтому не всегда можно понять, что модель с недочётами.

Искусственный интеллект без приложения к естественному интеллекту работает плохо. Над результатами, которые выдает ИИ, надо думать. Так считает Сергей Маслов, начальник управления корпоративными данными, «Ингосстрах». Он привел еще один пример работы с данными в жизни, «от сохи», как выразился докладчик.

Бизнес-пользователи столкнулись с проблемой. Существуют планы продаж, которые фиксируются помесячно. Руководители отвечают за их выполнение, но крайне сложно сказать в начале месяца, хорошо ли, что выполнено уже 30% от задуманного или это низкий темп. Дело в том, что у продаж, помимо случайных колебаний, есть тренды глобальные и локальные, а также несколько компонентов сезонности и другие случайные флуктуации, вроде сочетания длинных выходных. Линейный прогноз не работает, равно как и простой регрессионный, которым пользовались раньше. Чтобы он был лучше, к нему нужно часто менять коэффициенты, а это уже ручная работа.

Сергей Маслов, начальник управления корпоративными данными, «Ингосстрах»

После внедрения автоматически уточняемой модели удается получить релевантные данные для принятия решений, которые позволяют заранее начинать корректирующие действия при отклонениях от плановых показателей. Для совершенствования модели проводятся ежедневные пересчёты «локальных трендов» и анализ адекватности. Ежемесячно модель дообучают специалисты.

Интересного эффекта удалось достичь с помощью машинного обучения в «Леруа Мерлен Восток». Кейс представлял Михаил Измайлов, руководитель продукта. При приеме товаров от поставщиков торговые точки сталкивались с тем, что доверия таким поставкам меньше, чем складским, а это значит, что товары постоянно нужно проверять. На этот процесс уходит около 30 человекочасов в день, при этом буферная зона для приема переполнена, что ещё больше тормозит процессы. Задача была сформулирована так: «хотим считать меньше входящих заказов, но находить больше расхождений в полученных товарах».

Михаил Измайлов, руководитель продукта, «Леруа Мерлен Восток»

Алгоритм машинного обучения рекомендует к просчёту только заказы с высокой вероятностью ошибки. Теперь доля «доверительного» приема товаров повысилась с 49% до 82%, стоимость поиска ошибок сократилась в 2,5 раза, доля найденных расхождений к общей сумме проверенных заказов выросла с 0,46% до 0,55%. Сравнивая эффект от работы решения за 2 месяца с работой самого магазина, обнаружили, что система проверяла меньше, а ошибок находила больше, тогда как магазин проверял 16,2% поставок, но находил только 0,35% расхождений.

Предложения от ИТ-компаний

Как и было обещано модератором, во второй части секции ИТ-компании презентовали свои продукты.

Мы специализируемся на поддержке принятия решений. У нас есть крупные внедрения и сильные технологические партнёры, — рассказывает Сергей Шестаков, генеральный директор, ГК Luxms. Среди ключевых проектов аналитическая система для топ-менеджмента РЖД

(более 1000 пользователей, 270 000 показателей), нацпроект «Здравоохранение» (контроль медицинской помощи по профилям «кардиология» и «сердечно-сосудистая хирургия» в 4 субъектах РФ), финансовая аналитика для Ростелеком и другие.

Платформа Luxms BI обеспечивает быструю аналитику на больших данных. Это единственная российская BI-платформа с архитектурой нового поколения, построенная на принципах открытости и датацентричности, с одновременной поддержкой горячих, теплых и холодных слоев данных. Её функциональные преимущества:

• Self-Service — активная работа с данными конечных пользователей без программирования.
• Интеграция с другими системами и процессами заказчика — Actionable BI.
• Прогнозирование и моделирование (AI/ML).
• Массовая аналитика.

Перечисленный функционал BI при этом может похвастаться быстрым внедрением. Реализация сложных кастомных дэшбордов происходит в 2 раза быстрее, чем у лучших зарубежных аналогов.

Сергей Шестаков, генеральный директор, ГК Luxms

Нагрузочные тестирования показали, что среднее время отклика Luxms BI при одновременной работе от 2-х до 8-ми тысяч пользователей не превышало 15 мс, а пороговое значение в одноузловой (не кластерной) конфигурации оказалось на уровне более 8 тысяч одновременно работающих пользователей. Более того, даже при 9 тысячах сессий среднее время отклика составило менее 1 секунды. Результаты испытания программного комплекса, состоящего из одного узла аналитической платформы Luxms BI с горячим слоем на 3-узловом кластере ClickHouse, показали стабильную работу ПО при возрастающей нагрузке.

Luxms BI Self-Service предназначен для широкого круга конечных пользователей. Он служит для создания отчетов, а их визуализация теперь не требуют специальных знаний в области ИТ.

Мы даем альтернативу не только для тех компаний, который стремятся к импортозамещению, но и тем, кто хочет более эффективно использовать свои финансовые инвестиции в ИТ. Наша совокупная стоимость владения кратно лучше зарубежного ПО. У нас производство в России, и мы идём навстречу заказчикам в части безлимитных лицензий определённого типа, — подчеркнул Сергей Шестаков.

Дмитрий Дорофеев, главный конструктор, ГК Luxms, более детально углубился в о описание отдельных инструментов, например, говорил о Luxms Data Boring — высокоскоростном графическом инструменте доступа к данным.

Мы уже автоматизировали сами себя, а теперь начинаем предлагать решение заказчику, — сказал он.

Еще одна возможность платформы — интеграция с MADlib. Теперь с математическими моделями можно работать как с любыми другими SQL-таблицами. Библиотека для масштабируемой аналитики в базе данных обеспечивает расчёт статистических функций и выполнение машинных методов обучения для структурированных и неструктурированных данных.

Дмитрий Дорофеев, главный конструктор, ГК Luxms

Программный комплекс, объединяющий инструментарий классической и продвинутой аналитики, а также управление бизнес-процессами (BPM), представлял и Алексей Выскребенцев, руководитель центра экспертизы решений компании «Форсайт». «Форсайт. Аналитическая платформа» относится к решением класса Enterprise BI, развивается в рамках трендов цифровой трансформации экономики и может выступать технологическим базисом для создания бизнес-приложений любой сложности в организациях различных отраслей. Внедрения есть по всему миру.

На базе платформы есть такие продукты, как «бюджетирование», «сводная отчётность», «управление инвестициями», «кредитный конвейер», а также решение, позволяющее разработчикам и компаниям быстро проектировать и внедрять мобильные приложения за счёт большого набора готовых шаблонов для решения типовых задач.

Своим продуктом мы вышли за рамки классического BI, — говорит спикер, — и сделали инструменты для создания и автоматизации всех функций в бизнес-приложениях заказчиков.

Алексей Выскребенцев, руководитель центра экспертизы решений компании «Форсайт»

В компании уверены: инструменты BI должны обеспечивать интеллектуальную поддержку принятия решений. В представляемой платформе такими инструментами служит сценарное моделирование, моделирование рисков, process mining, визуальное прогнозирование, data-продукты и ML.

Верхом на данных — в онлайн

О том, как оседлать потоки данных, говорил Иван Судариков, владелец продукта, ADV, компании, которая более 20 лет помогает выводить крупный и средний бизнес из офлайна в онлайн. Бизнес активно собирает данные, работает с системами веб-аналитики, своими CRM-системами — всё для того, чтобы улучшать уровень сервиса.

У такого подхода есть и минусы. Данные разбросаны по разным источникам, из каждого информация собирается отдельно. Данные невозможно объединить, а обрабатывать большие объемы сложно. У некоторых корпоративных потребителей вообще нет никакого доступа к источникам данных.

Например, в компании у колл-центра одни сведения, у менеджеров по продажам другие, а у поддержки сайта третьи, — отмечает докладчик.

Наконец, нужно уметь объединить данные офлайна и онлайна, хотя бы для того, чтобы понимать: мы имеем дело с одним и тем же покупателем, или это разные люди?

Иван Судариков, владелец продукта, ADV

Без решения этих проблем компания не сможет эффективно использовать и анализировать накопленные данные, не увидит картины целиком. Решением может стать Customer Data Platform, которая выполняет функции сбора, хранения, агрегации, объединения и, наконец, дистрибуции данных. Среди преимуществ CDP сокращение времени от события до потребителя, аналитика, безопасность (данные остаются у заказчика), построение витрин, наличие готовых модулей.

Большие данные в режиме реального времени пытается обрабатывать и «Сбер». Какие именно данные здесь называют большими? В целях на 2023 год значится обработка 10 млн транзакций в секунду.

У нас свои вызовы и достаточно много данных, — отмечает Борис Рабинович, старший управляющий директор, SberData, — Мы поискали на рынке, у кого ещё есть объёмы, сопоставимые с нашими, и не нашли. У нас сложная география и много систем и продуктов. Уже сейчас у нас за 1 секунду происходит 200 тысяч событий.

Борис Рабинович, старший управляющий директор, SberData

Чтобы справляться с девятым валом данных, в SberData используется Platform V. Фабрика данных — часть банковской платформы. Сюда загружено больше 350 источников информации, объем получаемых изменений — 16-20 терабайт в сутки. Фабрика решает такие задачи, как анализ поведения, потребностей клиентов, продуктовых предложений — всё в реальном времени. Занимается транзакционным скорингом AI в кредитовании, оценкой рисков, управлением качеством данных.

Информация о партнерах конференции

«Форсайт» —российский вендор, разработчик инновационной цифровой аналитической платформы, функциональных продуктов на ее основе, мобильной платформы для создания защищенных мобильных бизнес-приложений. Компания «Форсайт» занимает высокие позиции среди поставщиков решений для анализа данных, входит в ТОП-3 поставщиков решений из реестра отечественного ПО. Среди пользователей решений компании – крупные российские и зарубежные компании разной отраслевой направленности, органы государственной власти, финансово-кредитные организации, международные организации. Портфель решений компании включает универсальную платформу клаccа Enterprise BI («Форсайт. Аналитическая платформа»), объединяющую инструментарий «классической» и «продвинутой» аналитики, а также управления бизнес-процессами (BPM); функциональные продукты на ее основе - «Форсайт. Бюджетирование» и «Форсайт. Управление инвестициями»; «Форсайт. Мобильная платформа» – современный продукт на рынке Mobile Application Development Platform (MADP), который позволяет проектировать и внедрять мобильные решения за счёт большого набора готовых шаблонов, включенных в платформу. Компания «Форсайт» обеспечивает техническое сопровождение решений, разработанных на базе ее линейки продуктов, а также представляет широкий спектр обучающих программ по работе с программными продуктами. Офисы компании «Форсайт» расположены в Москве, Перми и Санкт-Петербурге.