Теперь можно получать обработку информации в реальном времени (и реагировать гибко и сразу на те же действия на сайте или в приложении), в агрегации данных (теперь банк знает, где вы живёте, какие у вас были диагнозы по чекам из аптеки и какие интернет-магазины вы предпочитаете по адресам посещаемых сайтов, от стратегического альянса с провайдером или сотовым оператором) и так далее.

В ближайшее время будет происходить примерно следующее:

Нам обещают, что к 2025 году с помощью ИИ на решение бизнес-задач, которое сейчас занимает месяцы и даже годы, будут уходить недели, дни, а то и вовсе часы. Ручная обработка информации практически перестанет существовать.

Кроме того, если сейчас у бигдаты частенько нет никакого конкретного владельца, который бы регулярно обновлял и подготавливал к использованию информацию, то в самое ближайшее время эти данные будут структурированы в готовые продукты.

Всё идёт к тому, что отдел, отвечающий за работу с данными, перестанет быть центром затрат и станет отдельной бизнес-единицей, отвечающей за свою долю прибыли.

Но зато и нормативные требования по защите информации существенно ужесточатся, как и общая осведомлённость о правах на личные данные.

Инструменты ИИ станут доступнее, базы данных разнообразнее. А ещё появятся специальные платформы для обмена информацией, как внутри организаций, так и за их пределами.

Что происходит в целом

Объём данных растёт с огромной скоростью. К 2010 году вся информация, сформированная человечеством за долгие тысячи лет, составляла всего около 2 зеттабайтов (2 миллиона терабайтов). В 2021 году это уже 65 зеттабайтов, а к 2025 году объём данных будет составлять уже 175 зеттабайтов.

Рынок аналитики бигдаты, понятное дело, тоже растёт. По данным Research and Markets, примерно на 11,9% в год. Главная его проблема сейчас в том, что ничтожно малое количество крупных технологических компаний (в основном американских и китайских) хранит значительную часть мировых данных.

Россия от общемировых трендов немного отстаёт. Большие данные применимы ко всем отраслям экономики — мы пока копим опыт и тестируем возможности.

В июле 2021 года у нас только-только утвердили первый национальный стандарт в области бигдаты ГОСТ Р ИСО/МЭК 20546-2021 «Информационные технологии. Большие данные. Обзор и словарь». Но в ближайшее время обещают ещё 8 ГОСТов про эталонную архитектуру, безопасность, методы анализа, сценарии использования и т.д.

Внутренняя монетизация данных

Информация сама по себе ничего не даёт. Чтобы извлечь выгоду, данные надо правильно обработать.

Монетизация бывает внешняя, т.е. прямая продажа информации, и внутренняя (использование данных для повышения эффективности работы). Недавние исследования Gartner показали, что 61% компаний активно использует бигдату для улучшения внутренних бизнес-процессов и только 10% организаций эти данные продают.

Data-Driven — это подход к управлению компанией, основанный на больших данных. Хорош тем, что исключает человеческий фактор, например, возможность ошибки из-за привязок к тому, что сработало в прошлом, излишней уверенности в себе или каких-то интриг. При принятии решения значение имеют только цифры.

С помощью массивов данных создаются три типа процессов: транзакционный (понимание и выполнение бизнес-транзакций), информационный (выводы, на основе совершённых действий) и аналитический (автоматизация действий, принятие решений и прогнозирование результатов).

Данные можно использовать для:

поддержания отношений с клиентами;

улучшения внутренних бизнес-процессов;

оптимизации продуктов или услуг;

расширения ассортимента и т.д.

По мнению Gartner, современная платформа, отвечающая за обработку данных, должна быть максимально простой в использовании и поддерживающей весь процесс, от подготовки информации до её аналитики.

Главные мировые тренды в этой области: эволюция в сторону систем самообслуживания, low-code подход, возможность доступа с мобильных устройств, data storytelling, т.е. составление историй на основании данных, глубокая интеграция с искусственным интеллектом (AI) и машинным обучением (ML) и бизнес-аналитика по облачной модели (SaaS).

Российский рынок идёт против некоторых из этих трендов. Например, спрос на облачные сервисы у нас пока невелик: большинство компаний предпочитает решения на своей площадке. Отчасти это, правда, продиктовано нормативными ограничениями.

Одна из больших проблем в работе с данными — то, что необходимая информация может существовать в виде разрозненных фрагментов в разных бизнес-группах или компаниях. Не хватает связей между ними. Поэтому важный шаг для того, чтобы стать data-driven предприятием, — демократизация данных, т.е. перемещение их из разрозненных хранилищ на общую платформу.

Существуют разные подходы к использованию информации:

оптимизировать бизнес-процессы, основываясь на уже имеющихся данных;

изучить, что имеет ценность для аудитории, и только потом добывать нужную информацию.

Обработка личных данных. Мировые тренды

Это очень щепетильный вопрос. Нужен баланс между выгодой и приватностью. Во многих странах либо уже приняты, либо обсуждаются стандарты об обработке персональных данных.

Общие тенденции таковы: облегчение доступа к государственным данным, вовлечение компаний частного сектора, ужесточение требований к обработке персональных данных, но в то же время расширение оснований для неё (например, использование подразумеваемого согласия), гибкий подход к форме и процедуре получения данных и т.д.).

Ситуация с личными данными в России

Россия придерживается мировых трендов.

В конце 2021 года президент поручил правительству и Госдуме подготовить поправки, которые позволят гражданам распоряжаться информацией о своих хозяйственных операциях, а также ускорить передачу бизнесу данных министерств и ведомств. А ЦБ предложил обезличить кредитные истории клиентов, чтобы можно было использовать для развития искусственного интеллекта или передавать сторонним компаниям.

К середине 2022 года должен появиться госоператор больших данных, который будет обрабатывать и предоставлять компаниям информацию, накопленную разными ведомствами. Кроме того, государство попросит бизнес безвозмездно предоставлять обезличенные данные по некоторым направлениям. Уже сейчас идёт ряд пилотных проектов, которые позволят дать доступ коммерческих компаний к ЕСИА.

Кроме того, вскоре должна появиться единая государственная система, в которой будут храниться первичные биометрические данные. А все коммерческие операторы будут работать с их векторами.

Министерство экономического развития разработало проект федерального закона о Национальной системе управления данными. Документ закрепляет права граждан, юридических лиц, органов публичной власти и управления государственными внебюджетными фондами на доступ к информации, которая содержится в НСУД.

Один из важнейших вопросов, который сейчас поднимается, — право человека на управление своими данными. Например, чтобы можно было перенести финансовую историю из одного банка в другой.

Рыночные сегменты

Бигдата успешно применяется в самых разных отраслях:

Операторы связи. Китайской компании China Unicom удалось удержать более 200 тыс. абонентов, уже готовых уйти от оператора. «Ростелеком» запустил «Платформу управления данными», разработанную Arenadata DB, которая помогает бизнесам переходить к data-driven модели, а так же собственные продукты: решения по транспортировке информации, управлению мастер-данными (MDM) и справочными данными (RDM), решению методологических задач (RT DataGoverage). Самой компании эти системы помогают экономить более 1 миллиарда рублей в год.

Банки. Уральский банк реконструкции и развития, изучая информацию по клиентской базе для создания кредитных предложений, вкладов и т.д., увеличил кредитный портфель на 55%). 3 февраля 2022 Сбер сообщил о внедрении электронного взаимодействия с Росреестром по аккредитивам в сделках недвижимости. Уралсиб сформировал единую службу управления данными в составе блока стратегического развития.

Здравоохранение (большие данные можно использовать для борьбы с болезнями, предотвращения и предсказания эпидемий).

Автомобилестроение. Mercedes-Benz внедряет технологию, которая позволит лучше взаимодействовать с данными на основе блокчейн-платформы Ocean Protocol. И вообще, в автомобилестроении сейчас действуют три основные тенденции: встроенное подключение к интернету, автопилоты и курс на экологичность.

Розничная торговля. В онлайн-коммерции на цифровой информации построен вообще весь механизм продаж, а в оффлайн-торговле с её помощью, например, проектируют маршруты покупателей по торговому залу, чтобы правильно расставить товары. Компания «Перекрёсток» оцифровывает клиентский опыт, благодаря чему расширила сервис быстрой доставки на всю Москву, запустила онлайн-мониторинг загруженности супермаркетов и сервис по онлайн-контролю количества человек у касс. Разработки тестируются в специальном магазине-лаборатории.

Медиаиндустрия.

Маркетинг. Почта России заработала около 1,2 млрд рублей на линейке продуктов «Директ-Мейл» (Direct Mail), удачно использовав накопленную информацию о домохозяйствах. Учитывалось всё: пол, возраст, увлечения и даже религиозные убеждения.

Гражданская авиация. Бигдата помогает повысить надёжность и эффективность авиакомпаний.

В конце ноября 2021 года начала работу Шанхайская биржа данных. На торги было представлено примерно 20 торговых продуктов из нескольких категорий. В частности, данные о рейсах авиакомпаний и информация от операторов телекоммуникационных сетей.

Аудиторные данные

На рынок аудиторных данных вышли компании, традиционно далёкие от рекламы и маркетинга: телекомы, банки, операторы фискальных данных и т.д.

Розничная торговля

Три важных момента для розничной торговли:

использование данных для оптимизации и прогнозирования продаж;

предложение новых услуг. Причём данные, на основе которых делаются выводы, частенько выходят за пределы традиционной бизнес-модели;

сотрудничество с брендами для создания продуманной целевой рекламной платформы.

Электронная коммерция

В электронной коммерции большие данные используют для воздействия на клиентов на эмоциональном уровне. Дают понять человеку, что он особенный и между ним и брендом есть определённая кармическая связь. Будущее электронной коммерции в объединении персональных целей с теорией и продажами. Идеальное приложение даст человеку общие рекомендации, например, по здоровью, и подскажет, какие товары купить, а продавец сможет предложить персональные скидки и программы лояльности.

Платёжные системы

Поставщики платежей уже умеют генерировать информацию о клиентах на основе данных. Пожалуй, самый большой потенциал монетизации данных при платежах заключается в объединении информации о держателях карт, которые получают шлюзы и эмитенты, с данными о покупках, которые приходят от продавцов.

Банки

Банки скоро начнут обмениваться обезличенной информацией о кредитах, счетах, доходах, транзакционной активности и т.д.

Облачные сервисы могут монетизировать анонимные данные клиентов или данные, которые не позволяют идентифицировать личность, сотрудничая с рекламой, маркетингом, финансовыми услугами, розничной торговлей, электронной коммерцией и т.д.

Операторы связи

У операторов связи есть уникальная информация о клиентах, которую они пока довольно мало используют: голосовые данные, SMS-сообщения, мобильный трафик, геолокация, сведения о загруженных приложениях, платежах и т.д. Данные эти по своей ценности сопоставимы с теми, которые собирает Google. Их можно вполне успешно монетизировать с помощью банков, страховых компаний, ОТТ-компаний и т.д. Первые успешные примеры таких союзов уже существуют на азиатских рынках. Данные операторов уникальны, т.к. дают целостное представление о рынке, которого нет ни у клиентов, ни у поставщиков. Но есть проблемы с безопасностью, конфиденциальностью и конкуренцией, которые необходимо решить в ближайшее время.

Городская инфраструктура

За последние годы в России реализован целый ряд инфраструктурных проектов. Например, московские власти уже несколько лет закупают у мобильных операторов данные о перемещениях горожан. На их основе мэрия меняет транспорт и инфраструктуру в городе. А датчиками, которые передают данные о работе конкретного участка системы, оснащают транспорт, водоснабжение, электросеть и т.д.

Здравоохранение

Вопреки распространённому мнению, медицинские учреждения не потребители, а владельцы данных о здоровье. У нас в стране госучреждениям запрещено заниматься коммерческой деятельностью, а вот за рубежом их продают учёным и аналитикам для ускорения инноваций в медицине. Она становится всё более персонализированной, поэтому информация об опыте реальных пациентов приобретает особенную ценность.

Например, компания Roche приобрела платформу данных на основе информации об онкологических больных Flatiron, чтобы использовать её для НИОКР и разработки лекарств, компания Western Maryland Health System смогла снизить затраты на 78%, или 112 000 долларов США, за 6 месяцев, а компания Medopad разработала приложение, которое собирает данные с носимых устройств, мобильных устройств и из медицинских учреждений, а потом анализирует эти данные, чтобы предотвратить хронические заболевания.

Для фармкомпаний главную ценность представляют данные, собранные вне рамок традиционных рандомизированных клинических испытаний. С внедрением носимой электроники и социальных сетей для этого появляются новые возможности.

Совместное исследование, проведённое IDC и Seagate, показало, что совокупный годовой темп роста (CAGR) данных в сфере здравоохранения прогнозируется на уровне 1,36% до 2025 года, что быстрее, чем в производстве, финансовых услугах или средствах массовой информации.

Гражданская авиация

В авиации данные нужны для создания цифровых двойников самолётов, которые помогают понять, когда пора делать предиктивный ремонт и начинать техобслуживание. На самолётах стоят датчики, которые передают данные в облако или на наземные серверы, где их могут проанализировать и выявить неисправности заранее.

Данные также помогают экономить топливо, оптимизировать операционную деятельность (включая прогнозирование задержек рейсов), формировать персональные предложения для пассажиров и даже экономить на организации питания на борту.

Использование космических аппаратов

Система ТРИС ДЗЗ — это все ресурсы дистанционного зондирования Земли (ДЗЗ) на территории страны, интегрированные в единое геоинформационное пространство. Эта система нужна для решения некоторых государственных вопросов, а ещё для науки и безопасности.

Другие успешные кейсы

Компания CleverData подключила к своей независимой бирже данных Getintent, международного разработчика programmatic-решений для брендов, рекламных агентств и паблишеров, а также стала партнёром Rambler Group, получив тем самым возможность размещать в его сети свою таргетинговую рекламу.

Благодаря пандемии госорганы во всём мире стали быстрее внедрять инновации, используя коммерческие технологии для решения важных задач, а ИТ-продукты и данные в качестве контроля за пандемией и реакции на неё.

ТЭК активно использует умные приборы для мониторинга оборудования и учёта ресурсов, цифровые двойники, ИИ, системы компьютерного зрения и платформы интернета вещей.

Прогнозы

Ожидается, что мировой рынок монетизации данных будет расти со среднегодовым темпом 6%. Стимулируют его увеличение покрытия сетей и рост облачных вычислений, а также рост возможностей для обработки данных, применение искусственного интеллекта, внедрение data-driven подхода и достижения в области большой аналитики. Сдерживать же будут нормативные документы о неприкосновенности частной жизни.

Доминирующее положение на рынке продолжит занимать Северная Америка. Зато Азиатско-Тихоокеанский регион будет иметь самые высокие темпы роста.

Ключевые тенденции: увеличение числа М2М-приложений (это интеллектуальные счётчики, видеонаблюдение, мониторинг здравоохранения), увеличение потребительских данных, развитие технологий искусственного интеллекта и машинного обучения.

В ближайшие 2–3 года 50% компаний будут использовать автоматизацию и искусственный интеллект при выборе поставщиков и размещении заказов, 25% компаний будут использовать инструменты машинного обучения, 50% поставщиков программных решений будут использовать анонимные данные, собранные на их платформах, 25% организаций будут использовать данные, полученные с устройств IoT, для внедрения новых бизнес-моделей и т.д.

Основные сегменты рынка расположились в таком порядке: банковские и финансовые услуги, правительство и оборона, логистика, СМИ и развлечения, розничная торговля, всё остальное.

Ожидается, что банковские и финансовые услуги будут занимать первое место, благодаря огромному объёму накопленных данных, а прогресс в технологиях поможет им снизить затраты и повышать эффективность.

Что ещё можно использовать на пути к успеху

Очень выросла популярность модели «всё как услуга» (Everything-as-a-Service, XaaS).

Adobe, Workday, LinkedIn и Salesforce на протяжении многих лет позволяют клиентам использовать приложения в облаках. Заменяют новой моделью традиционные способы ведения бизнеса, существенно снизив затраты на привлечение клиентов и повысив их лояльность.

Текстовая аналитика — инструмент, который анализирует весь текст на странице, скажем, в соцсети, по определённым критериям.

Социальные сети дают огромный массив информации для маркетингового анализа. А также для управления удовлетворённостью клиентов. Собирать данные никогда не было так дёшево и просто. Размещая информацию в открытом доступе, люди не чувствуют, что за ними наблюдают, и поэтому ведут себя как ни в чём ни бывало.

Данные интернета вещей (IoT) стали стратегическим активом, который можно продавать и обменивать. Благодаря им появились сложные сетчатые экосистемы сотрудничества между организациями.

Опрос, проведённый Cisco в 2017 г. среди лиц, принимающих решения в области ИТ и бизнеса в США, Великобритании и Индии, показал, что наиболее распространённые приложения IoT ориентированы на повышение качества продукции или производительности (47%), улучшение процесса принятия решений (46%) и снижение эксплуатационных расходов (45%).

Россия, кстати, пока заметно отстаёт по монетизации интернета вещей (IoT). Но всё-таки количество подключенных устройств и межмашинных коммуникаций (М2М) продолжает расти.

Крупнейший сегмент IoT/M2M — это устройства, которые используются на транспорте. И, конечно, главный лидер — «ЭРА-ГЛОНАСС».

Web 2.0 — такое проектирование систем, при котором сетевое взаимодействие тем лучше, чем больше людей в нём участвует.

Dark data – это информационные активы, которые компания собирает, обрабатывает и хранит на постоянной основе, но обычно не использует. По аналогии с тёмной материей в физике dark data — зачастую самая большая часть данных, которые хранятся в компании.

Стратегическое планирование

Собственно, монетизировать данные можно одним из четырёх путей:

использовать их для принятия своих стратегических решений;

собирать, сортировать и продавать информацию;

предоставлять рекламную платформу;

продавать программное обеспечение для сбора, хранения и анализа данных.

Искусственный интеллект и машинное обучение, во-первых, помогают выявлять тенденции рынка на ранней стадии, во-вторых, находить новые возможности роста и, в-третьих, они снижают предвзятость при принятии решений.

Чтобы разработать выигрышную стратегию при производстве ПО, важно понять, что нужно покупателю: улучшить производительность или спрогнозировать какие-то действия.

Эффективная стратегия монетизации данных рассматривает информацию как живой актив, растущий в рамках действующего предприятия.