В статье рассматриваются существующий опыт, проблемы и перспективы хранения, обработки и анализа больших данных о состоянии морских акваторий и прибрежных территорий Арктического региона, необходимых для развития и функционирования морских нефтегазовых проектов В статье приводится информация об основных видах источников данных, их характеристиках и способах сбора, обработки информации. Выявлены основные проблемы эффективного хранения и обработки данных.
Ежегодно объем генерируемой человечеством информации растет, и морские данные не исключение. Хозяйственное освоение акваторий требует их детального изучения и сбора информации об актуальном состоянии экосистем морей. Российский сектор Арктики – зона общих интересов государства и компаний, осуществляющих экономико-хозяйственную деятельность в регионе. Компании нефтегазовой отрасли производят значительный объем морских данных, а перспективы развития Северного морского пути как транспортной артерии при обустройстве месторождений и вывозе углеводородов говорят только об увеличении объема и потока морских данных в ближайшем будущем. Так, проект «Умная Арктика» госкорпорации Росатом направлен на объединение всех информационных ресурсов в единую цифровую платформу [1]. Таким образом кооперация государственного и частного сектора в области совместного использования накопленных данных является одной из форм взаимовыгодного сотрудничества сторон, участвующих в развитии Арктического региона.
При этом очень важно понимать, что большие данные – это не только объем информации, выражающийся в гигабайтах или терабайтах, а подходы и методы обработки разнородных данных (машинное обучение, предиктивная аналитика, моделирование, пространственный, статистический анализ и т.д.) и генерации производных продуктов на их основе для принятия решений в различных отраслях.
Проблематика
Особенности Арктической зоны (экстремальные природно-климатические условия, неравномерность промышленно-хозяйственного освоения, высокая ресурсоемкость) являются ограничивающими факторами для создания эффективной системы управления. Основная проблема – отсутствие общего информационно-координационного центра по сбору, обработке и обмену всей накапливаемой информацией. Колоссальный объем архивных и оперативных данных полярных научных экспедиций, наземных сетей мониторинга, дистанционного зондирования и их производных, результатов изысканий частных и государственных компаний бессистемно хранится в архивах, на локальных серверах и в нестандартизированном виде. Каждый владелец данных использует собственные форматы, методики, способы обработки и анализа. Это приводит к тому, что зачастую сравнивать данные между собой практически невозможно, и ежегодное увеличение объема морских данных делает работу по стандартизации и консолидации данных только сложнее.
Ко всему прочему в настоящий момент отсутствуют методы комплексного анализа гетерогенных и многомерных морских данных. Современные подходы затрагивают только отдельные процессы и явления (например, гидрометеорологические условия), но не систему в целом. Научному сообществу необходимо будет создать новые подходы, разработать усовершенствованные модели и алгоритмы для получения более точных результатов и основы для принятия решений.
Виды данных и их источники
В России можно выделить несколько подходов к организации систем наблюдения и сбора данных. Одни из них основаны на инструментальных измерениях, другие – на дистанционных.
Инструментальные наблюдения в Российской Арктике ведутся с середины XIX века, однако на текущий момент считается, что плотность действующих станций недостаточна для точных региональных и локальных исследований о динамике природных процессов и явлений [2]. Регулярными инструментальными наблюдениями в масштабах страны занимаются государственные организации и институты Федеральной службы по гидрометеорологии и мониторингу окружающей среды (Росгидромет), такие как Арктический и антарктический научно-исследовательский институт (далее – ААНИИ) и т.д. На региональном и локальных уровнях компании, ведущие хозяйственную деятельность, проводят экологический мониторинг, геологоразведочные работы, гидрометеорологические и инженерные изыскания, но эти данные остаются закрытыми, недоступными для общего пользования.
Источниками данных инструментальных наблюдений могут быть:
1. Данные автоматической идентификационной системы (далее – АИС). Устройствами АИС оборудована большая часть морских судов. Данные АИС могут собираться как спутниковыми системами (когда сигнал передается на специализированную группировку космических аппаратов), так и наземными береговыми станциями.
2. Данные с гидрометеорологических станций сети Росгидромета.
3. Данные с автономных метеостанций, буйковых и донных станций, собирающих данные о скорости и направлении течений от поверхности до дна, волнениях, уровне воды, термохалинных характеристиках, толщине, скорости и направлении дрейфа льда.
4. Данные спутниковых передатчиков (Argos, Iridium), установленных на животных или ледовых образованиях.
5. Данные с беспилотных подводных и надводных аппаратов для получения биологических (фитопланктон, зоопланктон, рыбы, морские млекопитающие), климатических и океанографических данных.
6. Данные, получаемые со специализированных научно-исследовательских судов в ходе экспедиций и при попутных судовых наблюдениях с судов для получения метеорологических, гидрохимических, биологических (фитопланктон, зоопланктон, рыбы, морские млекопитающие), климатических и океанографических данных.
7. Результаты геолого-геофизических работ, получаемые при сейсморазведочных, геофизических и инженерно-геотехнических изысканиях.
При этом организация и выполнение работ по инструментальным наблюдениям имеет свою специфику. Например, вследствие природных и антропогенных факторов ряд гидрометеостанций в процессе эксплуатации были перемещены на расстояния в несколько километров от прежнего положения. Это приводит к нарушению непрерывности ряда наблюдений, что может вносить свои корректировки в точный анализ многолетней динамики климатических показателей. В качестве примера можно привести метеостанцию на острове Котельный (ID WMO 21432), которая была перенесена в 2003 году на 1,2 км к западу от прежнего местоположения [3].
Другой проблемой инструментальных наблюдений является смена приборов и датчиков вследствие технологического прогресса, которыми выполняются наблюдения, из-за чего многолетний ряд измерений может иметь разнородную точность в разные временные отрезки. Если говорить о специфике организации работ в России, то для некоторых гидрометеостанций могут отсутствовать ряды наблюдений (что связано с социально-экономическими событиями в жизни страны, например распад СССР, приведший к сокращению действующих станций в России практически в два раза), а для части из них архивы измерений до сих пор не оцифрованы.
Помимо смены приборов, методики определения тех или иных показателей могут отличаться в различных лабораториях и институтах, что также приводит к усложнению анализа данных.
Дистанционные наблюдения
Применение космических средств наблюдения является одним из наиболее эффективных методов получения актуальной информации о состоянии природных и промышленных объектов. Требования к технологиям наблюдения из космоса постоянно растут, что приводит к увеличению количества космических аппаратов на орбите и различных типов данных, а также увеличению их скорости поступления.
В России существующие системы наблюдения за Арктикой ориентированы главным образом на привлечение спутниковой информации. Результаты наземных инструментальных наблюдений зачастую представляют собой архивы информации (пусть и электронные), в большинстве случаев оторванные от мониторинговых систем. Характерным примерами такого архива являются система Единой государственной системы информации об обстановке в мировом океане (далее – ЕСИМО) [4], содержащая метаданные и данные разных ведомственных структур в сфере гидрометеорологии, и информационная система Гидрометцентра РФ.
Системы наблюдений, основанные на спутниковых наблюдениях, разрабатываются преимущественно научно-исследовательскими институтами и центрами. Большинство из них, например, ААНИИ, Научно-исследовательский центр космической гидрометеорологии «Планета» (далее – НИЦ ПЛАНЕТА), Российский государственный гидрометеорологический университет (далее – РГГМУ), включает мониторинг всей Арктической зоны, а другие организации, например ТОИ ДВО РАН [5], осуществляют региональный мониторинг, частично захватывая и арктические зоны. Основным направлением практически всех институтов является исследование ледяного покрова акваторий, его сезонной и многолетней динамики.
Подобные системы наблюдения за состоянием арктических геосистем лишены части недостатков, присущих инструментальным наблюдениям. Так, при проектировании новых съемочных систем стараются создавать аналоги уже существующих для обеспечения непрерывности однотипных спутниковых наблюдений. В качестве примеров можно привести микроволновые радиометры AMSR, AMSR-E, AMSR-2 (Япония), радиометры серии SMMR, SSM/I, SSMIS (США), сканер серии МТВЗА [6]. В дистанционном зондировании существуют методы (например, интеркалибровка), ориентированные на то, чтобы обеспечить возможность сопоставления информации. Оптимальным видится создание комплексной системы, которая будет включать методы сбора и алгоритмы первичной обработки информации, а также алгоритмы интерпретации и прогноза.
В последние годы в связи с развитием беспилотных летательных аппаратов (далее – БПЛА) значительно вырос и объем данных, получаемых с их помощью. Информация, получаемая с БПЛА, максимально объективна и дает наивысшую детальность о характере окружающей обстановки. Результатами аэрофотосъемки могут быть цифровые ортофотопланы, модели рельефа и местности, 3D-модели, видеосъемка, съемка со специального оборудования (тепловизоры, лазерные сканеры) и продукты тематического дешифрирования.
Применение БПЛА в Арктической зоне помогает решать задачи, которые ограничены суровыми климатическим условиями и труднодоступностью районов исследования, но при этом эти же климатические условия, в особенности низкие отрицательные температуры и порывистый ветер, влияют на работоспособность БПЛА. Тем не менее польза от применения БПЛА в различных отраслях неоспорима, и производители разрабатывают решения, позволяющие работать в непростых арктических условиях.
Для обработки и анализа данных с БПЛА, в особенности в режиме реального времени, требуются значительные вычислительные мощности и хранилища. В этой связи владельцы данных сталкиваются с проблемой хранения сырых и архивных данных, и уже на начальных стадиях регулярного мониторинга объектов им требуется принимать решения о глубине хранения данных и какие именно данные хранить (сырые или производные продукты) и т.д.
Спутниковые изображения и данные с БПЛА одновременно могут покрыть обширные территории, но количество производных продуктов анализа, к сожалению, ограничено. Комплексирование инструментальных и дистанционных методов должно стать стандартом в изучении природных процессов в Арктической зоне. В международной практике системы мониторинга также включают в себя как и инструментальные наблюдения, так и спутниковые. Разработки таких систем имеются у Канады [7], США [8], Норвегии [9] и др. Хорошим примером является японский сервис по предоставлению большого количества информации об Арктической зоне – The Arctic Data Archive System [10]. Страна, не имеющая арктических территорий, делится информацией, полученной японской аппаратурой и которая является очень ценной для анализа и изучения арктических процессов.
