Традиционные модели для классификации земной поверхности похожи на высококлассных, но крайне узких специалистов. Если модель обучена находить на снимках здания, дороги и деревья, она будет делать это безупречно. Но стоит задать ей нестандартный вопрос — например, «найди все бассейны во дворах» или «отметь солнечные панели на крышах», — как алгоритм «зависнет». Чтобы решить новую задачу, приходится собирать свежий набор размеченных данных и заново обучать модель.

Исследовательский проект GeoSeg-OV предлагает революционный подход, который может избавить геоаналитиков от этой рутины. Вместо того чтобы переучивать нейросеть под каждый запрос, новая концепция позволяет спрашивать у модели о любых объектах обычным человеческим языком.

GeoSeg-OV относится к классу систем «открытого словаря» (open-vocabulary). Это значит, что модель способна идентифицировать любой пиксель на снимке, описание которого дано на естественном языке, даже если это описание вообще не встречалось в обучающей выборке.

Теоретически это меняет весь рабочий процесс: аналитику больше не нужно быть экспертом по машинному обучению, чтобы поменять картографическую задачу. Достаточно задать новый текстовый запрос, и алгоритм сам решит, как выглядит искомый объект на снимке.

Однако на практике всё сложнее. Земля выглядит по-разному в зависимости от того, кто и когда на неё смотрит. Снимок с дрона с разрешением 5 см и спутниковый снимок с разрешением 60 см — это два разных мира для нейросети. Углы съемки, погода, время года и даже городская архитектура создают так называемый «геопространственный разрыв».

Чтобы преодолеть эту проблему, исследователи собрали уникальный бенчмарк, включающий данные по более чем 90 городам на шести континентах с разрешением снимков от 5 до 60 сантиметров на пиксель.

Секрет успеха GeoSeg-OV кроется в архитектурном «разделении труда». Система состоит из двух основных частей:

1. Семантическое ядро (CLIP): Известная модель CLIP отвечает за смысл. Она понимает, похож ли данный участок на описание «солнечная панель» или «бассейн».

2. Структурный каркас (Foundation Model): Вторая, «замороженная» модель отвечает за геометрию. Она определяет границы объектов, их форму и взаимное расположение, но при этом не вмешивается в процесс смыслового распознавания.

Кроме того, система обрабатывает снимки в разных поворотах. В отличие от фотографий котов, где «верх» всегда понятен, спутниковое изображение может быть перевернуто, и модель должна понимать суть объекта вне зависимости от его ориентации на снимке.

Тесты показали впечатляющие результаты. Метод улучшил средний показатель качества сегментации (mIoU — пересечение предсказанных и реальных границ) на 2,5–2,7 процентных пункта по сравнению с сильнейшими предшественниками.

Особенно заметно преимущество проявлялось в тех случаях, где географическое положение или разрешение снимка сильнее всего отличалось от обучающей выборки. Это ключевой момент: модель показывает свою эффективность не в тепличных лабораторных условиях, а в реальном, разнородном мире.

Пока что не обошлось без оговорок:

· Результаты представлены в виде препринта, который еще не прошел независимое рецензирование.

· Система требовательна к ресурсам: ей нужно 13.4 ГБ видеопамяти, а скорость работы (0.31 секунды на итерацию) ниже, чем у некоторых более простых конкурентов.

Несмотря на технические ограничения, направление развития очевидно. Мы переходим от эпохи фиксированных классификаторов (которые отвечают лишь на вопросы, заданные разработчиком в момент обучения) к эпохе адаптивных систем (которые отвечают на вопросы, заданные аналитиком в момент работы с картой).

Возможно, через пару лет интерфейс геопространственного ИИ будет выглядеть не как меню выбора слоев, а как простая строка поиска: «Что вы хотите найти на карте сегодня?»