Согласно их прогнозу, с 2023 по 2028 год показатель CAGR (среднегодовой темп роста в сложных процентах) на рынке больших данных окажется на отметке 12,7%. В результате, к концу рассматриваемого периода объем отрасли достигнет $401,2 млрд. Эксперт по внедрению решений на основе больших данных Дмитрий Ким в профессии уже 8 лет. Он рассказал о карьерном пути, сложностях работы, трендах и будущем индустрии.
— Дмитрий, опишите вкратце свой путь в профессии дата-аналитика. Как вы пришли к работе с Big Data?
— Мой карьерный путь начался в одной из компаний «большой четверки», где я дорос до должности менеджера проектов. Шесть лет я работал в проектах, связанных с анализом финансовой и операционной деятельности с обширным применением больших данных (Big Data). Эта тема интересна мне потому, что еще в начале своей карьеры я понял, что у Big Data огромные перспективы. Способы применения будут расширяться, и компании смогут извлечь значительную пользу при правильном использовании больших данных. За этим — будущее.
После окончания магистратуры я перешел в стратегический консалтинг. Сейчас занимаюсь крупными проектами по использованию Big Data в нефтегазовой индустрии и ритейле. Могу с уверенностью сказать, что сбор, обработка и анализ Big Data являются критическим навыком для больших компаний и их решающим конкурентным преимуществом. Я вижу это в достигнутых результатах: увеличение выручки, сокращение расходов и, как следствие, повышение маржинальности благодаря применению больших данных.
— Чем вы руководствовались при выборе этих сегментов экономики?
— Я думаю, что у этих сфер (нефтегазовая отрасль и ритейл) максимальный потенциал в использовании больших данных, так как в них сами по себе формируются огромные массивы информации. Например, в ритейле ежедневно сохраняются данные о том, когда, что и по какой цене люди купили. Массивы данных для обучаемых моделей ИИ включают информацию о миллионах покупок, средней сумме чека, частоте выбора товара. Интересны маршруты, по которым покупатели идут по супермаркету, пики спроса на каждый товар, динамика продаж в зависимости от выкладки товаров. Компании могут значительно нарастить свое конкурентное преимущество детализируя данные на гранулярном уровне и анализируя и используя данные в управленческих решениях. При правильном сборе, очистке и анализе, Big Data обладают огромным потенциалом для развития бизнеса.
— Над какими проектами вы сейчас работаете, с какими сложностями сталкиваетесь?
— Работаю в проектах, связанных с оптимизацией коммерческих стратегий (мерчендайзинга, ценообразование и ассортимент) в ритейле и нефтегазовой индустрии, а также цифровизацией и разработкой новых решений в нефтегазовой индустрии. Среди основных трудностей и вызовов я бы назвал:
-
Сбор данных. В крупных компаниях образуются терабайты информации, однако зачастую она разбросана по разным системам, не унифицирована, не постоянна. Без предварительной стандартизации и синхронизации по колонкам, названиям показателей, без очистки данных нельзя автоматически сгруппировать ее в массивы, пригодные для аналитики и машинного обучения.
-
Цель использования. Сбор данных нужно осуществлять под конкретную цель. Понимание цели дает возможность выбрать информацию, которая обеспечит ее реализацию. Например, исследователи хотят увеличить маржинальность нефтепереработки на 3-5% на основе прогноза спроса и предложения. Им нужно обосновать, когда и сколько нефти нужно поставить в конкретную точку. В компании, которая ранее не использовала массивы Big Data, рост маржинальности может быть выше, например 10-15%. Если эта работа уже проводилась ранее, то даже повышение на 3-5% дает огромное увеличение доходов. В абсолютном исчислении это могут быть десятки или сотни миллионы долларов.
-
Персонал. Для работы с большими данными и искусственным интеллектом необходимы люди с конкретными навыками и знаниями. Например, инженеры, создающие и анализирующие промты. Компании сталкиваются с серьезными трудностями в подборе специалистов. Критичным в найме персонала и имплементации больших данных в разработку прогнозов является наличие доменного опыта. Сферы деятельности настолько отличаются, что специалист с доменным опытом в горнорудной промышленности не сможет полноценно работать в фармацевтике. А причина кроется в нехватке детализированных знаний и понимания нюансов новой для него доменной сферы.
-
Управление изменениями. Важно, чтобы руководители всех уровней были заинтересованы в повышении эффективности работы компании на базе Big Data. Можно красиво обосновать стратегию роста, поставить цели и нанять персонал. Но, если у лидеров нет желания использовать на практике результаты исследования Big Data, все рассыпется как карточный домик. Создание стратегии развития на основе больших данных требует мотивации руководителей компании всех уровней, распределения между ними обязанностей по внедрению в практику рекомендаций дата-аналитиков.
— Как будет выглядеть индустрия Big Data в ближайшие 10 лет?
— Понимание ценности Big Data однозначно возрастет. Работать с ними будут специалисты со специальными навыками и образованием. Я уже упоминал о такой профессии, как промпт-инженер. Появятся и другие профессии, в том числе, связанные с генеративным ИИ. Они будут заниматься оценкой проблем, стоящих перед компанией, и поиском решений на основе больших данных.
Например, в нефтегазовой индустрии внимание менеджмента будет и дальше сфокусировано на повышении операционной эффективности, сокращение эмиссий, росте ценовой эффективности, уменьшении логистических рисков. Отрасль будет сталкиваться с вызовами, обусловленными постепенным переходом к альтернативным источникам энергии. Последние 10 лет в развитых странах серьезно занимаются этой проблемой. ИИ и Big Data помогут компаниям обеспечивать безопасность сотрудников. Сюда входит оповещение о чрезвычайных ситуациях, превентивные меры, на основе анализа происшествий с выдачей рекомендаций персоналу, как действовать в подобных случаях.
Прозрачность данных имеет критическое значение на каждом отдельном этапе цепочки создания стоимости (value chain). Например, для эффективного управления и оптимизации маршрутов нефтетранспортной компании необходимы данные о маршрутах, потреблении бензина и прогнозах погоды. В дополнение к этому, существует растущий спрос на прозрачность и доступ к данным на протяжении всей цепочки создания стоимости. Это означает, что компании хотят получать данные и аналитику как с верхнего (upstream), среднего (midstream) так и с нижнего (downstream) уровня своих операций, и эта информация должна быть в режиме реального времени, чтобы компании могли принимать быстрые и своевременные решения.
Возьмем, к примеру, ту же логистическую компанию. Для нее важно иметь в реальном времени видимость объемов нефти на нефтеперерабатывающих заводах (средний уровень), а также спроса и цен на бензин на заправочных станциях (нижний уровень), чтобы понимать закономерности спроса, планировать и прогнозировать загрузочные мощности и оптимизировать маршруты.
Большие данные и искусственный интеллект позволят эффективно решать эти задачи и реагировать на новые вызовы.
— Некоторые экологи утверждают, что работа с ИИ и большими данными увеличивает потребление электроэнергии из-за роста мощности дата-центров. Как найти баланс между пользой, которую несут большие данные человечеству, и угрозой экологии из-за сжигания углеводородов при производстве электроэнергии для огромных дата-центров?
— Я думаю, что необходимо работать в нескольких направлениях. Это касается использования энергосберегающих технологий, перехода на альтернативные виды энергии (солнечные батареи). Важно оптимизировать размеры дата-центров за счет регулярного удаления устаревшей информации, мониторинга эффективности использования электроэнергии дата-центрами, проведения превентивных ремонтных работ, совершенствования облачных хранилищ.
— Расскажите о работающих кейсах на основе Big Data
— Приведу пример из нефтегазовой индустрии, опережающей другие сегменты экономики по использованию Big Data и AI — цифровой близнец. Представьте, что на персональном компьютере имеется цифровая реплика нефтеперерабатывающего завода. Она выдает исследователю комплексную информацию обо всех технологических процессах — сколько поступило сырья, сколько произведено бензина и побочных продуктов нефтепереработки, какой доход это принесло с учетом текущих затрат. Технология обеспечивает постоянный мониторинг работы предприятия в режиме реального времени. Она дает возможность просимулировать разные сценарии, что эффективно в нефтегазовой отрасли, ритейле и на других производствах.
Интересные возможности большие данные и модели на основе ИИ открывают в ценообразовании. Они позволяют учесть такие нюансы, как спрос на горючее в конкретное время суток, интенсивность потока автомобилей, расположение АЗС конкурентов, архитектуру автобана (есть ли съезд к конкурирующей заправке или нет). При благоприятном влиянии этих факторов даже увеличение цены бензина на 2-3 цента приносит ощутимую прибыль.
Но несмотря на повсеместное больших данных во всех секторах бизнеса, я думаю, что возможности использования Big Data изучены недостаточно. В ближайшие годы мы будем наблюдать, как большие данные и генеративный ИИ кардинально меняют управление, планирование и прогнозирование бизнесов. В мире не останется компаний, которые обходят этот тренд, потому что только он поможет оставаться конкурентоспособным.
Текст: Александр Морозов
Фото: Екатерина Ким
15 июля 2024
