Платформа цифровых исследований и разработок

Когда слышишь ?Платформа цифровых исследований и разработок?, первое, что приходит в голову многим — это некий готовый софт или облачный сервис ?в коробке?. На деле же всё куда сложнее и интереснее. Это скорее экосистема, живой процесс, а не продукт. В нашей практике с ООО Хэнань Цзюйхэ Текнолоджи мы прошли через несколько итераций понимания этого термина, и началось всё как раз с типичной ошибки: попытки купить ?платформу? как решение под ключ.

От заблуждения к рабочему прототипу

Изначально был запрос от клиента — автоматизировать сбор данных для аналитики. Стандартный путь: нанять разработчиков, написать скрипты, развернуть сервер. Но масштабируемость такого подхода была близка к нулю. Мы тогда, отталкиваясь от опыта в цифровой трансформации, предложили концепцию именно платформы цифровых исследований как фундамента. Не просто набор инструментов, а единую среду, где стыкуются сбор данных, их обработка, прототипирование алгоритмов и даже тестирование гипотез. Ключевое — возможность повторного использования компонентов.

Первый прототип мы строили на базе открытых решений, пытаясь их ?склеить?. Вышло громоздко. Интеграция между модулем краулинга веб-данных и средой для машинного обучения требовала кастомных костылей. Именно тогда стало ясно, что платформа цифровых разработок должна проектироваться изначально как целое, с продуманными API и конвейерами данных. Мы допустили ошибку, начав с экономии на архитектуре, что в итоге привело к переделке.

Урок был усвоен. В следующих проектах, например, при работе для одного из промышленных холдингов, мы заложили архитектуру на микросервисах с чётким разделением ответственности: один сервис отвечает за приём и очистку потоковых данных с датчиков, другой — за их агрегацию и хранение, третий — за выполнение исследовательских скриптов аналитиков. Это уже было ближе к истинной платформе.

Интеграция с бизнес-процессами: где кроются подводные камни

Самая большая сложность — не технологическая, а организационная. Можно развернуть идеальную технически среду, но если её не будут использовать исследователи или инженеры данных, всё бесполезно. Мы в ООО Хэнань Цзюйхэ Текнолоджи столкнулись с этим, внедряя платформу для внутренних нужд и для клиентов. Разработчики хотят один интерфейс (например, GitLab CI/CD), data science — другой (JupyterHub), бизнес-аналитики — третий (визуализации в Tableau или аналогах).

Пришлось идти на компромиссы и делать ?шлюзы?. Платформа не должна диктовать единственный инструмент, она должна обеспечивать поток данных между ними. Например, исследователь может провести эксперимент в Jupyter, сохранить обученную модель в реестр платформы, а инженер потом через тот же GitLab запустить процесс её пайплайна в продакшен. Связка оказалась нетривиальной, особенно в вопросах контроля версий и воспроизводимости экспериментов.

Здесь пригодился наш профиль как поставщика услуг цифровой трансформации — мы смогли выступить не только интеграторами, но и методистами, помогая клиенту выстроить процессы вокруг платформы. Без этого даже лучшая технология мертва.

Пример из практики: ускорение НИОКР для производителя

Один из наших кейсов, который мы частично описываем на сайте hnjhkjjt.ru, касался именно ускорения цикла исследований. Клиент — производитель композитных материалов. Их НИОКР включал физические эксперименты, численное моделирование и анализ исторических данных. Всё было разрозненно.

Мы развернули для них платформу, где центральным элементом стало хранилище всех экспериментальных данных (как сырых, так и обработанных) с метаданными. Учёные получили доступ к предконфигурированным вычислительным средам для моделирования, а система автоматически логировала все параметры запусков. Это сократило время на поиск прошлых результатов и повторение расчётов на 30-40%. Но главный выигрыш — появилась возможность применять методы машинного обучения к совокупным данным, что раньше было технически невозможно.

Экономика платформы: почему ?построить? дешевле, чем ?покупать? в долгосрочной перспективе

Многие стартуют с SaaS-решений. Это быстро, но с ростом объёмов данных и спецификой задач стоимость владения взлетает, а гибкость падает. Наша позиция, основанная на нескольких реализованных проектах, такова: для компаний, где исследования и разработки — это core business, имеет смысл инвестировать в кастомную или сильно кастомизированную платформу цифровых исследований.

Да, первоначальные вложения выше. Но вы получаете контроль над данными, безопасностью и можете адаптировать платформу под уникальные процессы. Например, если вам нужно интегрировать симулятор собственной разработки или обеспечить работу в условиях ограниченного интернета, готовое SaaS-решение часто не подходит.

В ООО Хэнань Цзюйхэ Текнолоджи мы часто используем гибридный подход: берём за основу проверенные open-source компоненты (Kubernetes для оркестрации, Apache Airflow для управления пайплайнами, MLflow для отслеживания экспериментов) и ?дошиваем? их под нужды заказчика. Это баланс между скоростью внедрения и суверенитетом.

Будущее: платформа как инфраструктура для инноваций

Сейчас мы видим сдвиг. Платформа перестаёт восприниматься как затратный центр IT-департамента и начинает рассматриваться как стратегическая инфраструктура для генерации инноваций. Это уже не про то, ?где запускать Python-скрипты?, а про то, как создать среду, где гипотеза от исследователя может быть быстро проверена, оформлена в прототип, а затем и в продукт.

Наша работа всё больше смещается в сторону создания таких ?песочниц? с элементами управления рисками и затратами. Например, внедрение квот на вычислительные ресурсы и автоматическое выключение неиспользуемых инстансов — казалось бы, мелочь, но без этого платформа съедает бюджет впустую.

В итоге, возвращаясь к началу, платформа цифровых исследований и разработок — это не что-то, что можно скачать. Это культура работы с данными и экспериментами, воплощённая в программной среде. И её успех измеряется не количеством развёрнутых контейнеров, а тем, насколько быстрее и качественнее команды создают новое. Именно к такому результату мы стремимся в каждом проекте, будь то для наших внутренних целей или для клиентов, чьи задачи мы решаем как ведущий поставщик услуг цифровой трансформации.