Сохранение и восстановление информации о частично разрушенных архитектурных памятниках России методами трёхмерного зрения

На территории России существует большое количество уникальных
архитектурных памятников, которые расположены в заброшенных сёлах или деревнях.
Эти сооружения представляют большой интерес для архитекторов, историков,
археологов, а также органов охраны объектов культурного наследия и для почитателей русской культуры. В первую очередь среди таких сооружений нужно выделить православные храмы, которые были оставлены в начале XX века. Несмотря на то, что уже более ста лет данные сооружения в одиночку противостоят напору стихии, во многих храмах даже частично сохранилась роспись стен и фрески.
Сохранение и документирование текущего облика заброшенных архитектурных шедевров является залогом их успешного восстановления будущими реставраторами.
Данный проект посвящён документированию заброшенных памятников архитектуры средствами компьютерного зрения и архитектурной фотограмметрии. Проект ставит перед собой следующие основные цели:
● разработка новых методов построения трехмерных моделей памятников
архитектуры, а также методов предсказания их исходного облика на основе
машинного обучения;
● экспериментальный сбор данных для разработки методов построения
трёхмерных моделей и детальное документирование текущего состояния
архитектурных объектов;
● оценка качества разработанных методов на собранных экспериментальных
данных о конкретных разрушенных памятниках.
Для решения поставленных задач будут организованы экспедиции к выбранным архитектурным памятникам.
В ходе экспедиций для реконструкции архитектурных памятников будет
выполнена комплексная съемка интерьера и экстерьера построек с целью создания обмерных моделей, удовлетворяющих требованиям существующих нормативов по реконструкции и реставрации. А именно:
● съемка экстерьера объекта с помощью беспилотного летательного аппарата;
● сканирование экстерьера объекта с помощью наземного лазерного сканера;
● съемка интерьера здания с помощью гиростабилизированной камеры;
● съемка контрольных размеров с помощью лазерного дальномера;
Материалы съемок будут обработаны с помощью существующих алгоритмов
трехмерной реконструкции, а также с помощью новых методов, разработанных в ходе выполнения проекта.
То есть:
● восстановление единой трехмерной модели экстерьера здания методами
3D-зрения и фотограмметрии;
● восстановление орторектифицированных фотографий росписей стен;
● восстановление единой трехмерной модели интерьера здания методами
3D-зрения и фотограмметрии;
● интеграция полученных результатов для формирования единой
информационной модели здания;
● формирование и восстановление чертежа здания (CAD);
● реконструкция исходного облика здания с использованием генеративных
диффузных нейронных сетей.
Полученные данные для каждого здания будут собраны в единую
иерархическую информационную модель здания, что облегчит анализ и обработку информации будущими реставраторами.
В ходе работ по проекту будут разработаны новые методы для трехмерной
реконструкции зданий. В частности:
● метод предсказания трехмерной модели объекта по одной фотографии на
основе пространственных свёрточных сетей со сквозными связями;
● метод восстановления утраченных фрагментов изображений (росписей) на
основе диффузных генеративных модулей;
● метод восстановления утраченных архитектурных элементов (предсказание
исходного облика здания по его разрушенному фрагменту) на основе
пространственных генеративных диффузных нейросетевых моделей;
Для привлечения внимания общественности к проблеме восстановления данных архитектурных объектов по итогам выполнения гранта будут проведены работы по обеспечению публичной доступности результатов проекта:
● создание публичной страницы, на которой будут представлены результаты,
полученные в ходе выполнения проекта;
● организация выставки, на которой будут представлены трёхмерные модели и фотографии, полученные в ходе выполнения проекта с целью привлечения
внимания к проблеме восстановления архитектурных памятников