26 февраля 2019 года TAdviser, экспертный центр по вопросам автоматизации государства и бизнеса в России, провел конференцию Big Data и BI Day. В общей сложности мероприятие посетили более 190 участников от организаций-заказчиков и поставщиков ИТ-решений. В их числе – представители таких компаний и структур как «Росатом», «Почта России», Центральный банк РФ, Федеральное казначейство Министерства финансов РФ, Департамент информационных технологий Москвы, Альфа-Банк, «Московский кредитный банк», PepsiCo Россия, «Уралхим», «Спортмастер», British American Tobacco, ТД ЦУМ, ГУП Мосгортранс, «Норникель», «ОДК-Сатурн» и многих других.

По мере того как во всем мире растут объемы данных, растет и интерес к извлечению пользы из них - использованию для принятия решений и для монетизации. На этом фоне увеличивается и спрос на инструменты Big Data и BI. Вместе с этим, существует и ряд проблем, возникающих при их внедрении и использовании. К ним можно отнести подбор наиболее подходящих компании технических средств с учетом ее специфики и объемов данных, трансформация культуры в компании, чтобы сотрудники использовали инструменты Big Data и BI наиболее эффективно.

Остро стоит и кадровый вопрос. На российском рынке пока существует нехватка и ИТ-специалистов в целом, и специалистов в области данных, в частности.

Игорь Агамирзян, вице-президент НИУ ВШЭ отметил, запрос на такие специальности - один из самых высоких. При этом из существующих опций обучения по направлению данных в НИУ ВШЭ майнер данных является самым востребованным, подчеркнул он.

Игорь Агамирзян, вице-президент НИУ ВШЭ

Актуален и вопрос, в какую сторону будут развиваться системы Big Data и BI. Сейчас заметен тренд в области систем BI, например, когда функционал непосредственно аналитики из них уходит, отдавая место автоматической визуализации после загрузки нужных данных. Касательно будущего BI Игорь Агамирзян отметил:

Такой процесс характерен не только для этой области, а практически для всех областей деятельности: это автоматизация рутинных операций. А креативная часть никуда не денется, аналитик все равно будет востребованной специальностью, хотя, скорее всего, технология его работы и инструментарий будут меняться.

Опыт заказчиков

Со стороны заказчиков первым выступил Сергей Черкасов, руководитель департамента директ-маркетинга «Почты России». Он поделился с участниками конференции опытом запуска и работы сервиса адресного распространения рекламы по почтовым ящикам, учитывая предпочтения граждан. Выявлять эти предпочтения и сегментировать адресантов для такой рекламы помогают технологии больших данных.

Сергей Черкасов, руководитель департамента директ-маркетинга «Почты России»

Для сегментирования получателей рекламы – домохозяйств и персон - используется анализ данных о посылках, подписках на газеты и журналы, транзакциях в рамках взаимодействия граждан с государством, таких как штрафы, налоги, социальные пособия и многие другие. Сергей Черкасов подробно рассказал, по каким принципам и на основе каких признаков сегментируются получатели.

В 2019 году на основе больших данных «Почта России» планирует попробовать запуск еще одной услуги – сбор любых первичных данных с геолокацией на местности: речь идет о сборе данных о любых объектах с фото и координатами. Полученные данные компании потом могут использовать для анализа в разных целях.

Дмитрий Склифасовский, начальник отдела моделирования данных ДИТ Москвы, посвятил свое выступление теме больших данных в коммуникациях города. Город информирует жителей о том, что делает город, по разным каналам коммуникаций.

Дмитрий Склифасовский, начальник отдела моделирования данных ДИТ Москвы

Мы стараемся делать так, чтобы жители города получали информацию по разным каналам, удобным им, и по тематикам, которые их интересуют. Для этого у нас есть много инструментов: рассылки по email, push-сообщения в мобильном приложении и браузере, СМС-рассылки, личный кабинет на сайте mos.ru и сайты московского правительства, - говорит Склифасовский. – Возникает вопрос – как не заспамить наших жителей информацией, которая им не интересна.

Для этого используется персонализация на основе анализа различных данных и построения предсказательных моделей. Например, учитываются логи действий посетителей на сайтах московского правительства, проводится сбор реакции на email и др. В ход идет и анализ информации от звонков в городской колл-центр. Представитель ДИТ Москвы подробно рассказал о том, как эти данные собираются, анализируются и используются.

Начальник отдела мониторинга и оперативного реагирования X5 Retail Group Дмитриев Михаил рассказал, как зарабатывать с помощью технических логов.

Речь идет о логах, которые генерирует кассовая программа: она генерирует примерно 2,5 терабайта данных в день. Например, когда продается алкоголь, бутылку необходимо подписать определенным образом, с использованием электронной цифровой подписи, как требует государство. При это система, которой это делается, часто ломается. И в момент поломки есть единственное решение – перезапуск. Найдя ошибку в логах, система была настроена на перезагрузку автоматически и позволила только на пилотном решении заработать 280 млн рублей, говорит Михаил Дмитриев.

Михаил Дмитриев, Начальник отдела мониторинга и оперативного реагирования X5 Retail Group

Докладчик привел в пример еще один кейс. В среднем покупатель проводит на кассе около 40 секунд. В логах есть данные, которые говорят о задержках на кассе и которые можно посчитать. В среднем за 1 секунду X5 зарабатывает 8 рублей. Соответственно, поняв причины и сократив задержки, логи можно превратить в деньги для компании.

Юрий Буйлов, руководитель отдела разработки CarPrice - одного из сервисов по покупке и продаже авто с пробегом в России, на опыте компании продемонстрировал, как используется Big Data в этом бизнесе. Основной пул данных компании составляют данные об автомобилях – информация собирается более чем по 600 параметрам. Это позволяет покупать автомобили онлайн: дилеры могут торговаться за автомобили из любого места в режиме реального времени на специально созданной для этого площадке. Но бизнес CarPrice находится на стыке онлайн и офлайн, и данные собираются из ИТ-систем, обслуживающих обе этих среды.

Юрий Буйлов, руководитель отдела разработки CarPrice

Один из инструментов, использующий большие данные в компании, - смарт-слоты. Например, для управления записью. В CarPrice анализируют данные загруженности филиалов и на основе этого подбирают потенциальному продавцу наиболее удобное время для осмотра его автомобиля. Если такового не нашлось, либо нет филиала рядом, к продавцу могут прислать выездного специалиста для обследования. Также, имея данные о клиенте и автомобилях, CarPrice может подобрать для него наиболее подходящего инспектора, который смог бы наиболее качественно осмотреть автомобиль.

Смарт-слоты используются и для повышения маржинальности: прайм-тайм отдается наиболее ликвидным сделкам. Средняя маржа на заявку на 27% выше там, где работают смарт-слоты, отметил докладчик. Юрий Буйлов привел и другие примеры использования Big Data в компании.

Старший вице-президент, Chief Analytics Officer Банка Уралсиб Юрий Сирота поделился с участниками компании, как сформировать аналитическую компетенцию и монетизировать данные в компании. Он привел основные тренды в области BI и подробно объяснил, как эти тренды встроить в компанию, организовать их внедрение.

Юрий Сирота, Старший вице-президент, Chief Analytics Officer Банка Уралсиб

Спикер также поделился секретами успеха развития аналитической компетенции. В их числе – наличие общности в стратегическом видении аналитической функции у руководства организации и бизнес-подразделений, создание кросс-функциональных команд и стэка инструментов по сбору, профилированию и аналитике данных. Не обойтись и без наличия компетенции сразу в нескольких областях: науки о данных, инженерии данных и управлении данными, а также интеграции результатов аналитики в бизнес-процессов. И это только часть слагающих успеха, которые привел представитель Банка Уралсиб.

Таня Милек, менеджер по методологии и унификации компании «Русагро», посвятила свое выступление теме потенциала технологий BI в агросекторе, в частности о том, как может использоваться машинное обучение. Докладчица подчеркнула отличие условий цифровой трансформации в сельском хозяйстве от других секторов:

Если вы находитесь на конкурентном рынке, и вам нужна трансформация, чтобы выживать, то мы находимся в жестких условиях, когда правительство ставит задачи, которые мы должны исполнять. При этом сверху на нас ложатся санкции. Поэтому у нас есть план – создание и внедрение до 2026 года конкурентных отечественных агротехнологий.

Таня Милек, менеджер по методологии и унификации компании «Русагро»

Таня Милек осветила ключевые технологические тренды в такой специфичной отрасли как сельское хозяйство и подробно остановилась на кейсе использования машинного зрения в животноводстве, в частности, для автоматического учета количества животных – свиней. Также спикер рассказала о других перспективных использования компьютерного зрения и машинного обучения в сельском хозяйстве.

Варвара Новожилова, руководитель отдела направления продуктов отчетности «Аэроклуб», привела примеры кейсов успешного построения решений в области BI и AI в области бизнес-тревел. Она отметила, что, как и в случае с X5 Retail Group, «Аэроклуб» зарабатывает на логах. Логируется весь процесс заказа услуг клиентами. И из этой информации компания пытается извлечь финансовую выгоду.

Варвара Новожилова, руководитель отдела направления продуктов отчетности «Аэроклуб»

Спикер подробно рассказала о том, как это происходит, и как в компании используются решения больших данных, машинного обучения, искусственного интеллекта, BI.

Игроки рынка: тенденции и решения

Руководитель PaaS-направления Mail.Ru Cloud Solutions Дмитрий Лазаренко рассказал участникам конференции TAdviser о возможностях PaaS-сервиса Mail.Ru Group для компаний, которые собирают и анализируют большие данные. Сервис может составить альтернативу дорогостоящей локальной инфраструктуре для обработки Big Data. Вместо того, чтобы приобретать оборудование, которое будет загружено несколько часов в неделю и потребует постоянных трат на обслуживание, заказчики могут воспользоваться мощной облачной инфраструктурой использующей платформы с открытым исходным кодом Apache Hadoop и Apache Spark.

Дмитрий Лазаренко, Руководитель PaaS-направления Mail.Ru Cloud Solutions

Дмитрий Лазаренко также привел реальные кейсы использования этого сервиса заказчиками из различных отраслей, включая ТЭК, e-commerce, добычу драгоценных камней. Он упомянул, что помимо использования сервиса из облака Mail.Ru, заказчики могут развертывать эту PaaS-платформу в своем периметре, реализуя частные и гибридные облачные среды.

Директор направления Informatica в компании DIS Group Комаров Михаил посвятил свое выступление теме BI в эпоху цифровой трансформации. Он отметил, что данных становится все больше и больше, появляется многообразие технологий, что зачастую заказчики чувствуют себя как в тумане на пути к реальной работе с большими данными. Упростить эту задачу позволяет единая платформа для загрузки, обработки и управления данными, которую предлагает DIS Group. Михаил Комаров подробно рассказал о ее функциях и преимуществах.

Михаил Комаров, Директор направления Informatica в компании DIS Group

Докладчик также подчеркнул важность организации в компании Data Governance – администрирование данными. Михаил Комаров пояснил, что он под этим понятием подразумевает процесс создания достоверных, легкодоступных данных в масштабе организации и в экосистеме вокруг, а также поддержание данных достоверными с пониманием, как они появились, и кто за них отвечает. Data Governance – это не какая-то маленькая задача в ИТ, подчеркнул он. Для администрирования данных в компании должно быть отдельное направление и отдельная стратегическая функция.

Это должно быть закреплено на уровне стратегии компании, и Chief Data Officer - главный по данным, с нашей точки зрения, должен быть на уровне директора по маркетингу или по продажам – то есть, на уровне топ-менеджмента, - отметил Михаил Комаров.

Всеволод Грабельников, архитектор облачных решений «Яндекса», в ходе выступления рассказал о возможностях аналитической платформы «Яндекс.Облако». Облако строится на фундаменте инфраструктуры «Яндекса», располагаясь в трех из пяти ЦОДов компании, и постоянно прирастает дополнительными сервисами IaaS, PaaS и SaaS. Докладчик особо выделил три сервиса для аналитики, в рамках «Яндекс.Облака»: ClickHouse - быстрой распределенной (MPP) колоночной аналитической СУБД, который уже доступен, а также Yandex DataLens и Managed Hadoop+SparkA, которые вскоре должны стать доступными.

Всеволод Грабельников, архитектор облачных решений «Яндекса»

Всеволод Грабельников привел примеры клиентов, которые используют ClickHouse, и подробно рассказал о преимуществах использования этой СУБД из облака. Помимо этого он остановился на возможностях технологии Hadoop в облаке и сервиса DataLens – облачном BI-сервисе с обширными возможностями визуализации данных. Одна из особенностей DataLens – тарификация в зависимости от потребления облачного ресурса, а не количества пользователей. Также его планируется глубоко интегрировать с прочими аналитическими сервисами «Яндекс Облака».

Технический директор компании Veritas Николай Починок рассказал об особенностях и нюансах защиты Big Data окружений от сбоев и ошибок. Он отметил, что на фоне изменений в ИТ-ландшафтах и задачах компаний, где появились, в том числе и задачи, связанные с большими объемами данных, за последние годы поменялся и портфель решений Veritas. Докладчик вкратце представил их обзор участникам конференции TAdviser.

Николай Починок, Технический директор компании Veritas

Есть четыре основных направления, на которых фокусируется Veritas, и ключевое их них – это защита данных заказчиков. Другие направления включают помощь в миграции различных нагрузок в облака, сокращение темпов роста данных и оптимизация стоимости их хранения и четвертое – управление и поиск данных. Более подробно Николай Починок рассказал, как и какие решения Veritas могут применяться именно в средах Big Data с учетом специфики свойственных им архитектур.

Выступление Тимура Мишина, руководителя направления, Центра компетенций Больших Данных ГК «Техносерв», было связано с темой машинного обучения как актива Big Data. Начал он с того, что рассказал о компетенциях ГК «Техносерв» в области Big Data и привел кейс монетизации больших данных на примере «Аэрофлота», в котором непосредственно участвовал «Техносерв», а также из ряда других отраслей. При этом именно машинное обучение, как прикладная часть, помогает монетизировать большие данные, подчеркнул Тимур Мишин. Он уточнил, что речь идет о моделях машинного обучения, которые встроены в процесс анализа данных желательно в онлайне, и в процесс принятия решений.

Тимур Мишин, руководитель направления Центра компетенций Больших Данных ГК «Техносерв»

Тренд роста спроса на специалистов в области Data Science в России, идущей в ногу с мировым трендом, привело «Техносерв» к разработке сервиса Data Science Workspace (DSW) - единого рабочего пространства для аналитиков по данным, рассказал Мишин. Представитель ГК «Техносерв» подробно осветил возможности и планы развития функциональности этого сервиса.

Наш сервис призван предоставить специалистам по данным удобную среду для работы, а компаниям – дать возможность мониторить эффективность, производительность, сопоставлять, для каких задач какие вычислительные ресурсы используются, - отметил представитель ГК «Техносерв».

Исполнительный директор TGPO Consult Дженнифер Трелевич в своем выступлении сделала акцент на то, как получить реальную пользу от больших данных и ошибках при запуске проектов больших данных, которые этому препятствуют. Одна из ошибок – экономия на категоризации данных. Докладчик привела несколько примеров из реальной жизни, отметив, что категоризация данных для обучения моделей при запуске проектов является критической задачей, к которой нужно привлекать data scientists.

Дженнифер Трелевич, Исполнительный директор TGPO Consult

Вторая ошибка – нескорректированные бизнес-процессы, генерирующие данные, из-за чего многие получаемые данные являются по сути «мусорными». Результаты от анализа таких данных сомнительны.

Большие данные – это не только информационные технологии, это также бизнес-процессы. Необходимо посмотреть и проверить, что эти бизнес-процессы правильно работают, - отметила Дженнифер Трелевич.

Третьей ошибкой она назвала тот момент, когда обучающие данные плохо отображают реальную ситуацию. Правильный подбор обучающих данных определяет успех продукта, заключила спикер. А четвертая ошибка – несовместимость категоризации данных. Разные категории данных иногда не соответствуют друг другу. Все эти ошибки Дженнифер Трелевич проиллюстрировала примерами из реальной практики компаний.

Открытая дискуссия

По завершении докладов состоялась открытая дискуссия, в которой приняли участие представители компаний-заказчиков ИТ, академической среды, поставщики ИТ-решений. В ходе нее участники обсудили множество вопросов, включая отношение к инструментам Big Data и BI со стороны пользователей в компаниях. Он возник в связи с тем, что иногда среди пользователей можно встретить нежелание ими пользоваться и даже саботаж.

Также был поставлен вопрос – всем ли компаниям нужны инструменты BI? Некоторые из участников считают, что они нужны практически всем и могут быть полезны даже индивидуальным предпринимателям, а выбор и масштаб инструмента уже зависят от размера и вида деятельности организации.

Участники сошлись во мнении, что профессия аналитика будет оставаться востребованной и актуальной. Особенно это касается бизнес-аналитиков, которые умеют слушать людей и на основе этого транслировать требования к автоматизации. В отличие от бухгалтеров, им в такой степени не грозят даже развивающиеся технологии машинного обучения. Роль Data Scientist тоже возрастает - они как новаторы помогают разработать новые модели, позволяющие бизнесу получить новые конкурентные преимущества.

В перерыве и по завершении конференции участники общались в неформальной обстановке.

Презентации докладов