Data Ocean Nova 2026.1.0: поддержка StarRocks и новые инструменты

Разработчик Data Sapience выпустил второе в этом году масштабное обновление Lakehouse-платформы Data Ocean Nova. В релизе 2026.1.0 основной акцент сделан на расширении возможностей процедурного языка LPSQL, повышении производительности MPP-движков и упрощении развертывания системы в изолированных контурах.

Расширение LPSQL и оптимизация движков

Ключевым техническим изменением стала адаптация процедурного расширения LPSQL для работы со StarRocks. Теперь пользователям доступны новые операторы для работы с метаданными и переноса легаси-кода из СУБД Oracle. Параллельно разработчики оптимизировали архитектуру федеративных запросов: внедрение Query Cache в StarRocks позволило снизить нагрузку на оперативную память и увеличить пропускную способность системы.

Обновления затронули и другие компоненты обработки данных:

• Nova Trino: получил производительный коннектор к Teradata и обновленное ядро версии 479;
• Nova Impala: обзавелась распределенным JDBC-коннектором и расширенными настройками Admission Control для управления очередями;
• Nova Spark: перешел на фреймворк нативных вычислений DataFusion Comet 0.12, что ускорило работу с форматом Iceberg.

Инструменты управления и работа в закрытых контурах

В платформе появился сервис Resource Bank, который в реальном времени анализирует нагрузку на кластеры и позволяет менять конфигурацию очередей. Для оценки предлагаемых изменений предусмотрен режим dry-run. Для упрощения первичной настройки системы внедрен Nova Deploy API, интегрированный с графическим интерфейсом платформы.

Особое внимание уделили автономности и безопасности. Новый сервис Tool Storage позволяет загружать необходимые артефакты и драйверы в закрытые контуры без доступа к интернету. В объектном хранилище Data Ocean Store реализовано тегирование S3-файлов, что упрощает аудит: теперь в метаданных фиксируется, какое приложение и с каким ключом произвело запись. По словам представителей Data Sapience, эти нововведения значительно расширяют функционал платформы относительно стандартных open-source решений.