30 мая в Москве с успехом прошел ежегодный TAdviser SummIT 2023. Вторая его часть была посвящена работе отраслевых секций. Приемами работы с данными в секции «Большие данные и BI» делились как компании из финансового сектора, так и ритейлеры. Заглянули сюда и производственники. Все они пытаются найти цифровой след в своих данных и использовать найденное как можно эффективнее.

В качестве слушателей в зале присутствовали представители таких организаций, как Центральный банк РФ, ФГБУ ИАЦ Судебного департамента при ВС РФ, «Сибирская теплосбытовая компания», «Центргазсервис», «ТрансАл», «Альфа-Банк», «Бизнесс Груп», Danone, Domodedovo Integration, «Адваланж», «Систэм Электрик», Государственный академический Мариинский театр, «АстраЗенека». Секцию модерировала Наталья Лаврентьева, заместитель главного редактора, TAdviser.

Переработка данных

Эпоха перемен не должна мешать строительству, особенно если речь идет о построении единого хранилища данных. Екатерина Варламова, директор по управлению данными, «Промсвязьбанк» рассказала, как именно здесь замещали западные решения. «Промсвязьбанк» — это банк с государственным участием и особой миссией — быть опорным банком для предприятий оборонно-промышленного комплекса и сопровождать государственный оборонный заказ. Кроме того, «Промсвязьбанк» стал первым системно значимым банком в республике Крым и Севастополе, а также первым в ЛНР и ДНР. Понятно, что все эти факторы налагают на компанию особые обязательства, особенно в сфере безопасности программного обеспечения.

Екатерина Варламова, директор по управлению данными, «Промсвязьбанк»

Я знаю, коллеги, что многие из вас, когда директива по импортозамещению только была озвучена в 2012 году, не так серьезно погрузились в эту тему, — говорит докладчица, — но для нас никакой другой альтернативы не было, ведь мы банк с госучастием. Поэтому мы стали искать на рынке те системы, которые зарегистрированы в Реестре и отвечают нашим технологическим требованиям.

Здесь был устроен своего рода конкурс. В «соревновании» участвовали Postgres Pro, MS SQL, Arenadata DB (GreenPlum) и Oracle. Решение Arenadata DB сравнивалось с теми СУБД, которые уже использовались в банке. Тестирование проводилось на стендах с сопоставимым оборудованием, на одном наборе исходных данных, характерном для банковского сектора (специально разработанная модель данных), посредством выполнения аналитических запросов, имитирующих типичную нагрузку для хранилища данных.

Система от Postgres Pro не справилась с декартовым произведением таблицы (50 млн записей) по ключу с подсчетом количества результирующих строк и с агрегирующими функциями и подсчетом количества результирующих строк — не отработала в течение 7200 сек. На декартовом произведении таблицы (50 млн записей) с агрегирующими функциями и подсчетом количества результирующих строк завалились MS SQL и Oracle. Arenadata DB отработала два этих технических теста за 154 и 255 секунд соответственно.

Был и другой набор критериев, которые относились к стратегическим показателям: получится ли горизонтальное масштабирование, есть ли интеграция с ETL-инструментами, совместим ли продукт с CASE-средствами моделирования данных (PowerDesigner), может ли система хранить данные построчно и поколоночно и так далее. В результате в 2021 году технологии Arenadata были утверждены в «Промсвязьбанке» в качестве технологического стандарта для построения ЕХД.

Казалось бы, что для конечных пользователей результат этой работы не особенно виден, но если говорить в контексте Big Data, то основная ценность текущей разработки для конечного бизнеса заключается в том, что он, наконец-то, смог объединить внутренние детальные данные систем банка с внешними источниками, — поясняет Екатерина Варламова. — Раньше такой возможности не было. Объединяя эту информацию в аналитических задачах и по различным направлениям (начиная от Центра оценки рисков ГОЗ и заканчивая блоком цифровых технологий), пользователи получают новые инсайты.

Проблемы традиционного подхода к работе с данными затронул Сергей Маслов, начальник управления корпоративными данными, «Ингосстрах». В отличие от других компаний, здесь еще 25 лет назад сразу построили единую централизованную платформу.

У нас никогда не было множества источников данных, мы растили все в едином месте и не имели головной боли по объединению разнородных решений, — вспоминает спикер. — Но теперь нам захотелось децентрализации, и сейчас объясню, почему.

Сергей Маслов, начальник управления корпоративными данными, «Ингосстрах»

Всеми процессами обработки данных в компании занимается специализированная команда — DataTeam. С одной стороны, это хорошо, потому что есть единый центр компетенций и экспертизы по принципу «единого окна», в наличии единая архитектура данных и подходы к обработке, что означает, как правило, более высокую скорость обработки и поставки данных. Однако DataTeam может стать узким местом, возникают конфликты за ее ресурс между доменными командами. С ростом объемов данных растет и риск появления «болота данных». Нет «биллинга» для доменных команд (ресурсы «бесплатные»).

В «Ингосстрахе» применяется подход, который был назван Data Services. Между потребителями данных и владельцами возникает некая ИТ-прослойка по управлению корпоративными данными, которая помогает объединить и тех, и других.

Мы хотели бы сохранить эту идеологию при переходе на другую модель, — говорит Сергей Маслов.

Думая о том, что будет следующим после «озер данных», докладчик предлагает посмотреть в сторону Data Mesh. Монолит процессов будет разделен, и такие технологии, как, например, искусственный интеллект, отдадут на откуп бизнес-командам, а узкое место в виде DataTeam исчезнет.

Идея в том, чтобы разделить монолит данных между теми, кто ими наилучшим образом пользуется, при этом сохранив единое управление. Данные становятся продуктом, а каждая доменная команда не только собирает и обрабатывает данные, но и предоставляет их как сервис остальным потребителем. Появляется сеть данных с единым каталогом, — поясняет выступающий.

Выглядит это перспективно, но по-прежнему есть обратная сторона медали. Владельцы команды не всегда мотивированы инвестировать в развитие продукта данных. Доменная команда использует только подмножество данных источника, не всегда имеет возможность развивать отношения с источниками данных, а в части приоритета задач работает на своих заказчиков. Кроме того, команды «живут» не слишком долго: могут быть со временем реорганизованы или вообще ликвидированы.

Мы хотели, чтобы DataTeam была первой среди равных, но она гипертрофирована. Однако частично проблемы решены. Мы считаем, что в результате польза есть, — резюмирует Сергей Маслов.

Хотели западных инноваций, но оказалось, что новосибирские лучше

О том, как создаются высоконагруженные сервисы предоставления аналитики для сотрудников и клиентов торговых сетей, рассказал Руслан Ахмедов, директор по клиентской аналитике, X5. Предыстория всем понятна: компания получила «письма счастья» от своих западных вендоров — их решения были сняты с поддержки в России. Сразу же возник риск дестабилизации и потери данных, а критичную отчетность в рамках SLA формировать стало просто невозможно. Программа лояльности остановилась, сервис истории покупок и связанные с ним сервисы оценки товаров и компенсации возврата товаров баллами потерялись.

Руслан Ахмедов, директор по клиентской аналитике, X5

В апреле того года мы очень быстро определились, что конкретно хотим делать и пошли поэтапно. Начали со спасения управленческой и финансовой отчетности. Дальше нужно было перевнедрить CRM, — говорит спикер. — Решили пойти по пути оптимизации. Раньше мы внедряли большие коробочные комплексные продукты. Вендоры нам предлагали модуль по финансовой отчетности в составе ERP, и мы брали, не сильно присматриваясь. Дали функционал, и ты счастлив, что он есть. С CRM похожая история. Внутри нее нам продали модуль «история транзакций и чеков». Казалось бы, дали в составе бесплатно, отчего бы не использовать? Но у него есть ограничения. Внедряя все заново, мы пересмотрели некоторые вещи и захотели сделать так, чтобы они были быстрее. Нужно не просто заменять, а сделать лучше.

Что было? Управленческая отчетность и оперативная аналитика были доступны ограниченному кругу пользователей. Часть пользователей получала выгрузки из систем, не имея доступа к ним. Теперь иначе. Управленческая отчетность и аналитика доступны всем пользователям в режиме SSA, а скорость получения данных возросла более чем в 5 раз. Пользователям доступно более 30Тб данных через BI, при этом стоимость владения инфраструктурой снижена более чем в 2 раза.

По второму решению — CRM — добились того, чтобы история покупок, аналитика трат по категориям, расчет выгод от программы лояльности и от подписки «Пакет» стали снова доступны в мобильных приложениях «Пятерочка», «Мой Перекресток» и личном кабинете X5 Club. Здесь более 28 млн клиентских профилей с данными о покупках, 70 млн карт лояльности, при этом среднее время ответа сервиса — 300 мс.

Мы сделали личный кабинет наподобие банковского приложения. Например, клиент может зайти и посмотреть не только свои покупки, но и соотношение трат по разным категориям товаров. Потребитель лучше понимает, что именно покупает и может делать это более рационально, — поясняет Руслан Ахмедов.

Еще одна функция «подсмотрена» у лучших российских банков. Клиент видит, сколько экономит с помощью системы лояльности и сколько мог бы сэкономить, если он еще не пользуется ею. В конце года подводятся итоги, а компания дает советы и хвалит — ты молодец, купил 200 бутылок молока, продолжай.

Мы хотим где-то повеселить покупателя, а где-то порекомендовать нужное. Конечно, хотим пользоваться инновациями, точнее, раньше хотели. А теперь оказалось, что иногда лучше внедрить что-то новосибирское, и будет хорошо, — подводит итог выступлению докладчик.

Маленькую и простую историю по уходу от Tableu рассказал Александр Дорофеев, директор департамента управления данными, МКБ. В марте 2022 года компания SalesForce прекратила поддерживать BI-решение Tableau для российских клиентов. В декабре этого же года у МКБ заканчивалась подписка на лицензии. Конечно, можно было бы поискать пути продления лицензий через посредников или поступить радикально — до наступления декабря найти альтернативное решение и внедрить его. Наконец, можно и вовсе перейти в «трофейный режим», как завуалированно выразился спикер, то есть спиратить.

Александр Дорофеев, директор департамента управления данными, МКБ

Решено было пойти следующим путем: провести пилоты нескольких решений на рынке — как промышленных, так и open source. «Нам очень повезло — у нас зрелый бизнес, который пользуется селф-сервисом в BI-аналитике уже несколько лет. Коллеги знают, что хотят», — комментирует докладчик.

С мая по июль 2022 здесь занимались пилотами, а в конце лета определились с решением. Требования предъявляли комплексные: продукт должен был заменить Tableu по функционалу, соответствовать нормам ИБ, иметь экспертизу и вендора в России. Также в обязательном порядке нужны были селф-сервисы. Перейти требовалось тоже как можно быстрее и бюджетнее.

Долго не будут томить, мы выбрали FineBI. Система удивительным образом похожа на Tableu, — поделился Александр Дорофеев.

После полугода использования оказалось, что есть нюансы. FineBI еще не обладает полноценно развитым в России сообществом, специалистов мало, приходится учить администраторов и пользователей, благо, это происходит быстро из-за той же схожести с Tableu. Полная интеграция с Active Directory отсутствует, нет возможности заводить несколько RLS-моделей, а вот ограничения на количество символов в SQL-запросе есть.

Но все это не какой-то большой стоп-фактор, просто нюанс, — считает докладчик, а когда начинают поступать вопросы из зала, то выясняется, что одна глобальная RLS-модель для кого-то вовсе даже не минус, а плюс.

Ключевыми аспектами разработки и внедрения собственной корпоративной платформы отчетности и BI поделился Владимир Сухов, руководитель сектора разработки BI и Big Data.

Мы назвали ее «Магрепорт» и выложили в свободный доступ с открытыми исходными кодами. Расскажу, с какими проблемами нам пришлось столкнуться на пути разработки и как мы их решали.

В отличие от того, что рассказывал спикер из «Ингосстраха», в «Магните» хотели именно централизации, но не ради нее самой, а потому, что возникла такая ситуация: кто-то из сотрудников, который обычно не делает этого по долгу службы, вдруг решает выпустить отчет и выясняет, что нет никакого единого места, где можно было бы этот план воплотить в жизнь.

Он идет к одним, а там лицензий не хватает, в другом месте не тот функционал, к третьему решению длинная очередь, задачи расписаны на год вперед. Мы пытались закрыть этот вопрос покупкой дорогого импортного продукта, но бюджета на него не хватало. А в конце 2019 года звезды сошлись так, что мы подумали и решили сделать нужное ПО самостоятельно, — вспоминает Владимир Сухов.

Владимир Сухов, руководитель сектора разработки BI и Big Data

Основная цель «Магрепорта» — предоставить массовому пользователю удобный способ получения данных из базы «Магнита». Требования, которые предъявлялись к продукту, таковы:

• переиспользуемость объектов,
• единый подход к управлению правами,
• удобство использования и администрирования,
• эффективное взаимодействие с СУБД и хорошая производительность,
• точное выполнение требований информационной безопасности.

«Магрепорт» предоставляет пользователю интерфейс задания значений фильтров отчета, формирует запрос к базе данных, взаимодействует с ней, сохраняет выгруженные данные и дает пользователю возможность работы с такой выгрузкой. Спикер подчеркнул, что у них очень любят работать именно с выгруженными данными в Excel, и как бы компания ни старалась, на каких бы решениях ни обучала, люди кивали, но, возвращаясь на рабочее место, снова открывали Excel. Видя это, в компании подумали — да будет так. Но дополнительно к экспорту в Excel добавили возможность работы с OLAP и отправку отчетов по электронной почте.

В плане безопасности решение дает возможность разграничения доступа на уровне функционала системы, объектов системы и на уровне самих данных. Требовалось обеспечить возможность управления правами на основе доменных групп и на основе данных в таблицах БД, доменную (LDAP) аутентификацию, работу пользователей из нескольких доменов и шифрование выгружаемых файлов. Некоторые требования безопасников были таковы, что Владимир Сухов признался:

Я не представляю, как бы мы их выполнили с покупной системой. Получается, что если делать свою систему, то вы точно сможете учесть важные аспекты именно для вашей компании. А то бывает так, что купишь крутую систему с развитым функционалом, там чего только нет, но крошечной штуки, которая вам нужна — ее-то и не хватает, не предусмотрено.

Добиться производительности удалось за счет разных аспектов: качества формируемых SQL-запросов к СУБД, управления собственными ресурсами системы и конкурентной нагрузкой пользователей, эффективности реализации высокопроизводительных вычислений и работы с собственным репозиторием метаданных. И так далее. Также важно обращать внимание не только на цифры, но и на то, чтобы пользователь мог интуитивно справляться с системой: «Чтобы он сразу видел, куда нужно нажать, и справлялся с базовой операцией в один клик», — подчеркивает докладчик. Сейчас продукт продолжает эволюционировать как количественно, так и качественно.

Идем по цифровому следу

Подходы к извлечению инсайтов из транзакционных данных перечислил Артем Летин, руководитель направления корпоративного моделирования, ВТБ.

Для банков транзакционные данные — это кладезь информации, — считает он.

Так, например, карточные транзакции содержат много атрибутов и дополнительной информации за счет привязки к терминалу: mcc-код покупки, место покупки, категорию магазина.

Артем Летин, руководитель направления корпоративного моделирования, ВТБ

На основе информации из транзакционных данных можно делать выводы о структуре денежных потоков на счете клиента, о его деятельности, об ухудшении его финансового положения. Использовать именно такие данные удобно еще и потому, что можно меньше спрашивать у своих клиентов, но при этом видеть реальную ситуацию в компаниях по их транзакциям: откуда выручка, кто контрагенты и так далее.

Такая информация актуальна, она обновляется каждый день, а не с большой задержкой, как это происходит в случае с финансовой отчетностью, — поясняет Артем Летин.

Однако нужна классификация транзакций. В ВТБ хотели получить экономически интерпретируемые данные. Цель — сформировать репрезентативную выборку для обучения модели. Из 100 млрд данных нужно было выбрать, допустим, 100 тыс. для тренировки модели. Как выделить из целого значимую часть? Здесь в случайном порядке отобрали транзакции, разметили выборку вручную, поискали малые классы и дополнили сэмпл, а затем сделали балансировку выборки по классам. Применяли итерационный подход: обсуждали классы с заказчиком, разбирали бизнес-кейсы, потом формировали выборку для обучения модели, размечали, перерабатывали текущую версию самой модели, оценивали качество классификации, анализировали распределение транзакций по классам и снова возвращались к шагу номер один.

Разметка предполагает ручной анализ данных на стороне экспертов и присвоение отдельной транзакции определенного класса, отражающего ее экономический смысл. Здесь разметка производилась силами DS совместно с консультацией заказчика. Разработка самого классификатора состояла из 4 этапов: анализа назначения платежа, счетов отправителя и получателя, дополнительной информации, формирования признаков для разработки модели, построения модели и оценки качества классификации. Докладчик привел конкретные примеры. Так, извлечь признаки из назначения платежа сразу не получится, потому что информация неструктурирована: там есть опечатки, сокращения, цифры и знаки пунктуации. Значит, нужно проверить правописание, провести токенизацию, удалить стоп-слова, создать словарь ключевых слов. Так же поступают и с извлечением признаков из графы наименования получателя или отправителя.

В результате было получено 54 смысловых класса, с которыми уже можно было работать. Полученный инструмент используется в пятидесяти моделях. На основе классификатора формируется более тысячи показателей, применяемых в бизнес-задачах. Сейчас в ежемесячном режиме отслеживается доля оборотов клиента через РКО в ВТБ (процент выручки), динамика доходов/расходов по временным срезам, транзакции по категориям (по сумме/количеству). Можно выделить топ-10 основных покупателей/поставщиков каждой компании, понять кредитные качества основных контрагентов. Кроме того, разработана модель оценки вероятности дефолта клиента на данных о его транзакционной активности. Сценариев применения инструмента множество.

Цифровой паспорт работника представил собравшимся Евгений Бурченко, директор по развитию цифровых сервисов, «Полюс». Такой паспорт формируется на основе цифрового следа, который работник оставляет в различных системах компании. В результате удобно сделать RFID-пропуск сотрудника, который является его уникальным идентификатором.

Евгений Бурченко, директор по развитию цифровых сервисов, «Полюс»

Работник по своему цифровому паспорту ходит на фабрику, на режимные объекты, в общежитие, оплачивает им питание в столовой. Его мастер видит, где находится человек, прошел ли он предсменный медосмотр, что у него с квалификацией, закончил ли он необходимое обучение, что там творится со средствами индивидуальной защиты. Вся информация, нужная для линейных руководителей, выводится на дашборды. Это позволяет быстрее раздавать и закрывать наряд-задания. Для охраны труда и HR-отдела теперь стало удобнее учитывать количество выходов и отработанных часов, сравнивать графики работ. Паспорт используется сотрудниками и как электронная подпись.

Евгений Бурченко на слайдах продемонстрировал, как конкретно выглядит информация по сотрудникам, какие графики строятся и как их сопоставлять.

Данные о процессах можно превратить в деньги. Как именно? Например, с помощью Process Mining. Именно так и поступают в «Сбербанке». Если раньше весь документооборот шел через архивы и личное общение с клиентурой, то сейчас все изменилось кардинально. Но не спешите считать, что цифровизация сама по себе что-то меняет.

Если у вас данные просто лежат в каком-нибудь озере данных, то это ничем не отличается от старинного бумажного архива. То есть они бесполезны, — предупреждает Иван Смольянинов, ИТ-лидер кластера Process Mining, «Сбербанк».

Иван Смольянинов, ИТ-лидер кластера Process Mining, «Сбербанк»

В банке извлекают данные из чат-ботов и мессенджеров, онлайн-шопинга, ну и само собой из баз данных и информационных систем. Накопление больших объемов данных, рост числа точек контакта с клиентом, онлайн-обслуживание, потеря личного контакта с клиентом, обилие информации о продуктах, услугах и доступность аналогов — Process Mining обращает все эти новые вызовы в преимущества. Он дает возможность делать объективные выводы, находить новые подходы к сегментации и таргетированию, собирать цифровые следы всего клиентского опыта, анализировать и внедрять лучшие практики, применять машинное обучение.

Process Mining позволяет не просто что-то проанализировать, но понять смысл, зависимости между различными факторами. Это ваш обычный BI, но с добавлением машинного обучения и Data Science. Мы начали заниматься всем этим достаточно давно, — поясняет спикер.

За 5 лет инструмент Process Mining в «Сбербанке» вырос от скриптов на Python до интерактивного лоукод-продукта на базе BI, Data Science и ML. Таким образом, удалось получить большой сервис самообслуживания, которым пользуются тысяча сотрудников, правда, этого мало, нужно больше.

Если говорить конкретно, то Process Mining помогает здесь с транскрибацией переговоров, кластеризацией причин переключения разговора на оператора, с объективным хронометрированием действий на основании цифровых следов, сравнением фактического прохождения процесса с нормативным, с анализом выполнения SLA, оптимизацией нагрузки сотрудников, анализом клиентских путей в автоматизированных системах, наконец, с поиском зон для автоматизации ручных операций и интеграции информационных систем.

В цифрах это выглядит так. В прошлом году «Сбербанк» на 20% повысил эффективность бота во внутреннем колл-центре, в 5 раз сократил время на актуализацию персональных данных клиента, на 25% сократил длительность обследования места установки банкоматов и на 5% ускорил процесс обслуживания клиента при оформлении кредитной карты.

Строим модели и считаем на видеокартах

Построение моделей аллокации и анализ результатов — тема выступления Даниила Пойды, руководителя направления BI в компании AUXO. Он рассмотрел аналитические системы раздельного учета, которые используются как для расчета себестоимости и прибыльности в различных аналитических срезах, так и для обеспечения процесса управления эффективностью бизнеса. Такие системы подходят банкам, телеком-сектору, производству. Самый большой эффект от подобного продукта заметят процессные компании, у которых высокая доля косвенных расходов в конечной стоимости и типовые рутинные операции.

Даниил Пойда, руководитель направления BI, AUXO

Система раздельного учета должна позволять разные сценарии распределения, виды драйверов (загружаемые, расчетные, составные) и виды аллокаций (одношаговые, циклические, каскадные). Нужно, чтобы было ведение правил, варианты запуска — например, полный расчет или только по блоку — а также периоды такого запуска. «Для того, чтобы реализовать всю требуемую функциональность, мы прибегли к концепции единого объекта аллокации. Это уникальный объект, который существует в системе, формируясь на основе определенного набора аналитик, связанных с каждым блоком индивидуально», — объясняет спикер.

При создании подобных систем возникают такие проблемы, как неконсистентность данных и большие объемы, что влечет за собой трату времени как для типизации данных, так и на расчеты. Дубликаты правил — очень распространенная проблема, потому что не все расходы типизируются или могут быть протипизированы несколько раз. Могут быть сложности со сверкой пропорций и согласованием результатов.

В этом случае мы прибегаем к концепции циклической аллокации. Мы можем проследить каждый шаг расчета, и для этого не потребуется сложная аналитика, — говорит Даниил Пойда.

В результате компании удалось построить очень гибкую модель, которая при этом является достаточно производительной. «Она превзошла все первоначальные требования заказчика», — отмечает докладчик. За 1,5 часа происходит расчет 300 млн результирующих строк, а за 3 часа можно посчитать 700 млн строк. Модель позволяет вводить новые объекты аллокации без корректировки самого ядра аллокации. Что касается интеграции, то тут есть возможность аудита данных: построение сквозной цепочки от первичной операции до результатов аллокации и их отображения в отчетности.

Как правильно выбрать GPU под разные задачи, объяснил Владислав Кирпинский, директор по облачной интеграции, Selectel. Большие данные — это большие возможности как для бизнеса, так и для обычной жизни. Прогнозная аналитика используется сейчас везде. Чтобы справляться с большим количеством операций в параллельном режиме, используются возможности архитектуры GPU с ее множеством вычислительных ядер.

Она классно справляется с задачами по искусственному интеллекту, — говорит спикер.

Владислав Кирпинский, директор по облачной интеграции, Selectel

Среди сценариев использования видеокарт не только обработка изображений и рендер графики, но и машинное обучение, распознавание и генерация речи, создание цифровых двойников и моделей типа GPT на open source, IoT. Возможности видеокарт можно потреблять как по стандартной схеме: купил и поставил у себя — так и через облако по модели PaaS или IaaS, или в гибридном облаке.

Параметры GPU, на которые стоит обратить внимание, таковы:

• число ядер CUDA;
• число тензорных ядер;
• число RT (Ray Tracing) ядер;
• объем памяти;
• пропускная способность памяти;
• поддержка виртуальных GPU VDI;
• энергопотребление.

Если говорить о конкретных моделях, то Nvidia A100 и A30 подходят исключительно для аналитических задач, так как внутри отсутствуют RT-ядра. Nvidia A16 отлично справляется с реализацией сценария VDI. Nvidia A5000 и A40 — это универсальные GPU, которые могут решать задачи широкого спектра. Когда одной GPU мало, все карты в узле можно объединить высокоскоростным интерконнектом NVLink Gen3. Он позволяет GPU-картам обмениваться данными, минуя CPU. Есть и обратная технология (NVIDIA Multi-Instance GPU), которая дает возможность на уровне «железа» поделить и вычислительные ядра, и память одной карты.

Альтернативы GPU — это FPGA и ARM, но с оговорками. У FPGA узкий спектр решаемых задач, при этом предложений на рынке мало, а цена высокая. ARM больше подходит для многопоточных задач, где важно количество ядер, а не их производительность, при этом используемые приложения должны быть оптимизированы для работы именно с ARM-архитектурой.

Платформу Yandex Cloud представил собравшимся Алексей Лузан, архитектор, Yandex Cloud. Доля сервисов платформы данных стабильно растет в объеме общего потребления Yandex Cloud.

Умение работать с данными — необходимое условие для роста любой компании в современном мире. Если вы не работаете с данными, то отстанете от остальных, — считает докладчик.

Алексей Лузан, архитектор, Yandex Cloud

Yandex Cloud — это оптимальная аналитическая платформа, которая применяется в разных бизнес-сценариях у банков, телеком-операторов, ритейлеров и в промышленности.

Все компоненты нашей платформы легко масштабируемы, отказоустойчивы и интегрированы между собой. Решение предусматривает смешанные сценарии применения, рост объемов данных и их новые источники, — подчеркнул Алексей Луза и перечислил сервисы, которые предлагает Yandex Cloud для загрузки, трансформации, хранения, обработки данных, а также доступа к ним.

Иллюстрацией размера аналитических решений в облаке от Yandex стали кейсы «М.Видео-Эльдорадо», а также неназванного банка и компании из сферы электронной коммерции.

Сервис на базе Greenplum один из молодых, запущен всего два года назад, но его уже можно назвать опорным, — говорит докладчик.

Самая крупная инсталляция DWH в этом сервисе у «М.Видео-Эльдорадо» — больше 200 Тб.

Компания Hoff использует облачное хранилище данных и систему построения отчетности. Облачное хранилище построено по методологии Data Vault.

Это сейчас популярно, поэтому если хотите решение на Data Vault — приходите к нам. Если говорить о численных метриках, то коллеги говорят, что теперь на создание аналитических отчетов уходит всего 20 минут, — делится подробностями Алексей Лузан.

Заказчики из KazanExpress реализовали сразу три сценария использования платформы: кабинет аналитики для партнеров маркетплейса, операционную аналитику событий с сайта и мобильных приложений и геоаналитику для открытия новых пунктов выдачи заказов. Эта функциональность позволила им открыть более 90 пунктов выдачи заказов в 25 городах благодаря анализу локаций.

Перечислив имеющиеся сервисы и сценарии работы с ними, Алексей Лузан перешел к анонсам. В этом году ожидается запуск еще двух сервисов: Managed Metastore (Data Proc) для хранения информации о связях структур данных с их физическим размещение и Managed Airflow — универсального оркестратора для задач обработки данных.

В перерыве и по завершении саммита участники общались в неформальной обстановке, а также имели возможность ознакомиться с решениями и услугами ИТ-поставщиков на стендах, развернутых в холле мероприятия.

Информация о партнерах

AUXO – надежный партнер на пути к вашему цифровому будущему. Более 30 лет мы предоставляем комплексные решения в области консалтинга, системной интеграции, управляемых сервисов и аутсорсинга бизнес-процессов, облачных вычислений для всех отраслей в России. Специалисты международного уровня работают в офисах компании в Москве, Воронеже, Краснодаре, Минске и Алматы, а также удаленно на территории России и стран СНГ. Миссия AUXO строится вокруг основных приоритетов: Клиенты, Развитие и Личность. Компания вносит вклад в ускорение перехода общества к цифровому будущему, в том числе через поддержку этих приоритетов.

Мы ценим опыт работы в международной структуре Atos, однако наша деятельность продолжается в рамках российской компании AUXO, которая входит в реестр аккредитованных ИТ-компаний.

Мы сохранили наш опыт, экспертизу и сотрудников.