Каждый, кто сегодня работает с геопространственными или спутниковыми данными, сталкивается с явным несоответствием. Данные дистанционного зондирования Земли высокого разрешения доступны как никогда, но инфраструктура для работы с ними не поспевает за этим. Аналитики регулярно тратят массу времени на загрузку снимков, атмосферную коррекцию, маскирование облаков и выравнивание пикселей, прежде чем сможет начаться сколько-нибудь осмысленный анализ. Хотя автоматизация, пакетная обработка и API доступа к данным могут сократить часть этих усилий, значительная доля накладных расходов на подготовку остаётся фундаментальным узким местом в дистанционном зондировании Земли.

Проблема носит структурный характер. Большинство геопространственных рабочих процессов по-прежнему рассматривают спутниковые снимки как независимые файлы, хотя они представляют собой повторные наблюдения одних и тех же мест во времени. Пространственные кубы данных (Spatial Data Cubes, SDC) предлагают структурный выход из этой проблемы, смещая геопространственную работу от ориентированного на файлы представления карт как слоёв к ориентированному на запросы представлению данных как континуума. Эта статья объясняет, что такое SDC, почему они существуют и как они делают работу с большими геопространственными наборами данных более практичной.

Пространственный куб данных — это способ организации геопространственных данных, при котором пространство и время обрабатываются вместе, а не как отдельные файлы.

В большинстве рабочих процессов ГИС спутниковые снимки рассматриваются как независимые слои. Один снимок на дату — один слой на временной шаг. Пространственный куб данных использует иной подход. Он организует все наблюдения одной и той же территории в единую многомерную структуру, где координаты (широта и долгота или X и Y) и время рассматриваются как одинаково важные измерения. Вместо работы со снимками вы работаете с непрерывным блоком данных.

Источник: ArcGIS

Концептуально пространственный куб данных расширяет традиционную карту, добавляя время в качестве ключевого измерения, часто наряду с дополнительными переменными, такими как спектральные каналы, температура или осадки. Это позволяет анализировать, как места меняются, а не только как они выглядят в один момент времени.

На архитектурном уровне пространственный куб данных определяется небольшим числом измерений:

Пример четырёхмерного растрового куба данных с двумя пространственными осями (X, Y), временным измерением (время) и измерением переменных (каналы). Источник: OpenEO

Аналогично, геопространственный куб данных организует данные в воксели (объёмные пиксели), где каждый воксель содержит значение для конкретной точки в пространстве и времени. Это позволяет разрезать данные в любом направлении. Горизонтальный срез через измерение времени даёт стандартную карту для конкретного временного шага, а вертикальный срез через координату — график временного ряда.

Геопространственные данные стало трудно управлять, потому что современные спутники генерируют наблюдения быстрее и с большей детализацией, чем были рассчитаны традиционные рабочие процессы ГИС.

Во-первых, это скорость. Такие миссии, как Sentinel-2, повторно наблюдают одну и ту же территорию примерно каждые пять дней, производя сотни наблюдений для одного и того же места всего за несколько лет. Время быстро становится доминирующей частью набора данных, а не второстепенным атрибутом.

Во-вторых, это спектральная сложность. Sentinel-2 регистрирует 13 спектральных каналов с разным пространственным разрешением, охватывающих видимый, ближний инфракрасный, red-edge и коротковолновый инфракрасный диапазоны. Каждое наблюдение — это уже не единый снимок, а стек переменных, описывающих различные физические свойства.

В-третьих, это радиометрическая точность. Современные сенсоры, такие как Sentinel-2, используют 12-битную радиометрию, записывая 4096 уровней интенсивности на канал. Это повышает научное качество, но значительно увеличивает объём данных и требования к обработке по сравнению со старыми 8-битными изображениями.

SDC упрощают анализ, меняя способ структурирования и доступа к геопространственным данным. Вместо работы с отдельными файлами и форматами, зависящими от сенсора, кубы организуют данные в единую сетку, где пространство и время можно запрашивать напрямую. Это переносит внимание с подготовки данных на анализ.

Одно из главных преимуществ — работа во времени. В традиционных рабочих процессах вычисление долгосрочных средних или обнаружение аномалий требует загрузки и обработки множества отдельных файлов. В SDC время — это просто ещё одно измерение. Такие операции, как вычисление среднего, медианы или тренда, можно применять непосредственно по временной оси, что необходимо для климатического и экологического анализа.

Кубы также делают региональные сравнения простыми. Анализ городского тепла или растительности, разработанный для Мюнхена, можно применить к Парижу или Токио с минимальными изменениями, поскольку данные уже приведены к стандартизированной сетке. Это повторное использование — прямой результат многомерного анализа, встроенного в структуру данных.

Ещё один ключевой элемент — данные, готовые к анализу. SDC обычно строятся из данных, которые уже прошли геометрическую и радиометрическую коррекцию, атмосферную нормализацию и маскирование облаков. Это устраняет повторяющиеся этапы предварительной обработки и снижает барьер для анализа.

На архитектурном уровне SDC отходят от файловой ГИС. Вместо хранения растров в виде отдельных GeoTIFF кубы используют многомерные форматы массивов, такие как NetCDF, HDF5 или Zarr. Эти форматы являются облачно-ориентированными и поддерживают ленивую загрузку, при которой из хранилища считываются только те пиксели, которые нужны для вычисления, вместо загрузки целых изображений.

Результат — не просто более быстрая обработка, а смена перспективы. Аналитики перестают работать с изображениями и слоями и начинают работать с наблюдениями и закономерностями в пространстве и времени.

SDC уже широко используются везде, где требуется долгосрочный крупномасштабный экологический мониторинг.

На уровне платформ национальные и континентальные системы предоставляют спутниковые архивы в виде кубов данных, готовых к анализу. Digital Earth Australia и Digital Earth Africa, использующие Open Data Cube, предлагают десятилетия данных Landsat для таких приложений, как сельское хозяйство, мониторинг воды и анализ засух. В Европе Swiss Data Cube поддерживает государственный мониторинг землепользования, экосистем и биоразнообразия. Глобальные платформы, такие как Google Earth Engine и Microsoft Planetary Computer, применяют те же принципы кубов к наборам данных планетарного масштаба.

Компоненты развёртывания Open Data Cube. Источник: Medium

Кубы в основном используются для климатического и экологического анализа. Они применяются для отслеживания долгосрочных процессов, таких как отступление ледников, обезлесение и температурные аномалии, помогая выявлять регионы, где изменения ускоряются, и информировать климатические оценки и стратегии адаптации.

В городах и во время бедствий кубы обеспечивают быстрое обнаружение изменений. Градостроители используют их для мониторинга земного покрова, тепла и растительности во времени, а службы реагирования на чрезвычайные ситуации сравнивают условия до и после события, чтобы картографировать зоны затопления или ущерб в течение часов, а не дней.

Во всех этих случаях SDC важны, потому что превращают растущие спутниковые архивы в структурированные, доступные для запросов наборы данных, поддерживающие непрерывный мониторинг и своевременные решения.

Чтобы увидеть, как SDC помогает на практике, рассмотрим простой вопрос:

Цель — не проанализировать один спутниковый снимок, а сравнить многие годы согласованным образом. В рабочем процессе на основе куба мы можем рассматривать время как нечто, что мы запрашиваем и обобщаем.

В приведённом ниже примере используется Python с Google Earth Engine Python API для работы с данными поверхностной отражательной способности Sentinel-2. Он вычисляет средний пиковый летний NDVI для Мюнхена за каждый год с 2020 по 2024.

Для запуска вам нужен аккаунт Google Earth Engine и локальная среда Python с установленными пакетами earthengine-api и matplotlib. После однократной аутентификации скрипт можно выполнить как любой обычный файл Python или ячейку блокнота. Сами вычисления выполняются на серверах Google, а не на вашей локальной машине.

Код:

python

import ee

import matplotlib.pyplot as plt

ee.Authenticate()

ee.Initialize(project='YOUR_PROJECT_NAME')

roi = ee.Geometry.Point([11.5820, 48.1351]).buffer(10000)

def mean_peak_summer_ndvi(year: int):

s2 = (

ee.ImageCollection("COPERNICUS/S2_SR_HARMONIZED")

.filterBounds(roi)

.filterDate(f"{year}-06-01", f"{year}-08-31")

.filter(ee.Filter.lt("CLOUDY_PIXEL_PERCENTAGE", 15))

.map(

lambda img: img.addBands(

img.normalizedDifference(["B8", "B4"]).rename("NDVI")

)

)

)

greenest = s2.qualityMosaic("NDVI")

return (

greenest.select("NDVI")

.reduceRegion(ee.Reducer.mean(), roi, 10, maxPixels=1e13)

.get("NDVI")

)

years = list(range(2020, 2025))

results = {y: ee.Number(mean_peak_summer_ndvi(y)).getInfo() for y in years}

print(results)

plt.figure()

plt.plot(list(results.keys()), list(results.values()), marker="o")

plt.xlabel("Год")

plt.ylabel("Средний пиковый летний NDVI")

plt.title("Тренд растительности Мюнхена (Sentinel-2)")

plt.grid(True)

plt.show()

text

2020: 0.6528120163165212,

2021: 0.6299300436372898,

2022: 0.6326813585804277,

2023: 0.6231054879966788,

2024: 0.618215928250535

Важна не формула NDVI или код построения графика. Важен рабочий процесс. Одна и та же структура обрабатывает пять лет спутниковых данных без перебора файлов или ручной подготовки входных данных. В этом сила SDC. Они позволяют сосредоточиться на изменениях во времени, а не на управлении данными.

SDC — это не конец рабочего процесса. Они обеспечивают структуру данных, которая делает современные рабочие процессы GeoAI возможными в масштабе.

Модели машинного обучения требуют обучающих данных, согласованных в пространстве и времени. Без пространственных кубов данных спутниковые архивы фрагментированы на файлы с разными проекциями, временными метками и этапами предварительной обработки. Кубы решают эту проблему, предоставляя длинные выровненные временные ряды для одних и тех же мест, что позволяет моделям учиться на временном поведении, а не на изолированных изображениях.

Кубы также хорошо работают с новыми идеями, такими как геопространственные вложения (embeddings). Вместо того чтобы рассматривать местоположения как координаты, вложения представляют места в виде векторов, отражающих их поведение во времени. Когда данные уже организованы в виде куба, изучение таких представлений становится гораздо проще и надёжнее.

Именно поэтому кубы важны для крупномасштабных моделей. Фундаментальные модели для наблюдения Земли обучаются на годах спутниковых данных, охватывающих всю планету. Без кубообразной структуры в основе обработка такого объёма и сложности была бы нереалистичной.

SDC мощны, но не являются универсальным решением.

Они требуют обучения. Рабочие процессы на основе кубов часто требуют навыков написания скриптов и анализа данных, что может быть сдвигом для пользователей, привыкших к настольным инструментам ГИС. Большинство крупных кубов также зависят от облачной инфраструктуры, что поднимает вопросы стоимости, привязки к поставщику и суверенитета данных. А для небольших или разовых картографических задач традиционные инструменты ГИС часто всё ещё остаются лучшим выбором.

Несмотря на эти компромиссы, SDC представляют собой сдвиг в том, как обрабатываются геопространственные данные. Системы наблюдения Земли сейчас собирают данные быстрее, чем файловые рабочие процессы могут их обрабатывать. Организуя наблюдения в многомерные структуры, кубы устраняют большую часть накладных расходов на предварительную обработку и делают долгосрочный анализ практичным.

Как показывают примеры, такие как многолетний мониторинг растительности, кубы позволяют отвечать на сложные вопросы с относительно небольшими усилиями. В будущем они станут основой современных систем GeoAI, которые стремятся не только наблюдать Землю, но и обнаруживать изменения и поддерживать своевременные решения.