Компания VK Tech решила преодолеть ограничения децентрализованной модели управления данными, при которой каждая из 35 бизнес-вертикалей развивала собственные аналитические системы и хранилища. К моменту принятия решения об облачной миграции инфраструктура насчитывала более 10 изолированных железных кластеров под управлением Airflow и Hadoop, а совокупный объем аналитических данных превысил 0,5 эксабайта. Такая разрозненность создавала серьезные бизнес-ограничения: обмен данными между подразделениями затруднялся техническими различиями и юридическими процедурами, а поддержка ландшафта требовала огромных ресурсов. Операционный руководитель OneDWH VK Василий Ципиди и технический руководитель Олег Виноградов объяснили, что целью стало создание единой платформы для повышения скорости и качества принятия решений как в режиме реального времени, так и в отчетности и А/Б-тестах.
Основными проблемами старой архитектуры стали неравномерное распределение ресурсов и дублирование экспертности. Вычислительные мощности распределялись неравномерно: пока один кластер испытывал дефицит CPU, соседний простаивал на 50%, а изолированные контуры не позволяли гибко перебрасывать мощности. Кроме того, сопровождение каждого крупного направления требовало до десяти инженеров, выполняющих идентичную работу по обновлению компонентов и управлению доступом. Критическим барьером стала работа с данными: запросы атрибутов из одной команды в другую требовали создания отдельных копий объектов и сложных согласований. Когда число специалистов превысило сотню, а количество кросс-запросов исчислялось тысячами в месяц, этот подход перестал масштабироваться, и версии данных начали расходиться.
В качестве решения была выбрана единая облачная платформа OneDWH VK на базе инфраструктуры One-cloud, обеспечивающая self-service среду для аналитиков, data-инженеров и ML-команд. Ключевым принципом стала унификация доступа и отказ от физического копирования данных: объекты хранятся в единственном экземпляре, а доступ предоставляется по запросу. Платформа решает четыре ключевые задачи: обеспечивает общую вычислительную среду для 35 вертикалей при сохранении их независимости, позволяет использовать данные смежных команд без создания копий, делает прозрачными владельцев данных и их метаданные, а также сокращает время на рутинные операции с нескольких дней до нескольких часов. Архитектура поддерживает как пакетную обработку, так и сценарии без задержки для задач, требующих актуальности в реальном времени.
Миграция 0,5+ эксабайта данных, охватывающая более 30 тысяч уникальных data-объектов и 2 000 сотрудников, была реализована как поэтапный процесс параллельной работы старой и новой инфраструктур. Вместо простого копирования был выбран подход качественной трансформации, включавший полное описание каждого объекта, его схемы и бизнес-смысла, а также внедрение механизмов валидации и DQ-алертов. Была проведена консолидация и дедупликация данных, где оставались объекты с наиболее богатыми схемами. Процесс переезда состоял из 10 укрупненных этапов, включая аудит, переключение потребителей и перестройку модели доступа на основе ролей и контрактов. Взаимодействие между поставщиками и потребителями данных выстроено через систему контрактов, где владельцы принимают решения о доработках, а доступ к персональным данным регулируется жесткими ограничениями. Для массового создания директорий и переноса прав была автоматизирована более 20 ключевых операций, что сделало возможным управление жизненным циклом данных от создания до архивного хранения.
