Разработка технологий, обеспечивающих по даннымоптической съемки решение задач картографированияокружающей обстановки и семантической сегментацииснимков в режиме реального времени
Проект направлен на создание технологии для автоматического формирования ортомозаик и семантической сегментации снимков
Разработка технологий, обеспечивающих по даннымоптической съемки решение задач картографированияокружающей обстановки и семантической сегментацииснимков в режиме реального времени
Проект направлен на создание технологии для автоматического формирования ортомозаик и семантической сегментации снимков
Проект направлен на создание технологии для автоматического формирования
ортомозаик и семантической сегментации снимков, получаемых с беспилотных
воздушных судов (БВС), что обеспечит автономную навигацию и высокоточное
картографирование в режиме реального времени. Основой разработки станет
технология одновременной локализации и построения карты (VSLAM), используемая
для навигации различных роботизированных систем. В рамках проекта планируется
выбор и доработка VSLAM-решения с учетом задач автоматической ориентации и
совмещения снимков, чтобы обеспечить высокую точность картирования.
Основные направления проекта:
1. Выбор и доработка VSLAM-решения:
○ Рассмотрение доступных VSLAM-решений (например, ORB-SLAM2),
продемонстрировавших высокую точность и стабильность.
○ Внедрение функциональных блоков для трансформации и совмещения
снимков в режиме реального времени.
○ Использование ORB-SLAM2 и его модификаций для минимизации
ошибок локализации и улучшения построения карты.
2. Семантическая сегментация снимков БВС:
○ Сегментация объектов на снимках с использованием ИНС, специально
обученных на задачах выделения структурных элементов.
○ Применение моделей ИНС, таких как DDRNet-23, HyperSeg-M и
STDC1-50, для обработки снимков в реальном времени.
○ Создание сегментационной карты, объединяющей результаты обработки
отдельных снимков в единую карту.
3. Оптимизация работы нейронных сетей:
○ Использование методов, повышающих производительность ИНС,
включая разделимые по глубине свёртки, перемешивание каналов и
блочную обработку.
○ Адаптация ИНС к задачам обработки снимков с БВС для достижения
максимальной скорости (FPS) и точности (mIoU).
○ Подбор оптимальных доступных российских и зарубежных наборов
данных для обучения моделей.
Ожидаемые результаты:
Проект приведет к разработке алгоритмов и моделей, которые позволят в режиме
реального времени формировать ортомозаики и семантически сегментировать
изображения, полученные с БВС
ортомозаик и семантической сегментации снимков, получаемых с беспилотных
воздушных судов (БВС), что обеспечит автономную навигацию и высокоточное
картографирование в режиме реального времени. Основой разработки станет
технология одновременной локализации и построения карты (VSLAM), используемая
для навигации различных роботизированных систем. В рамках проекта планируется
выбор и доработка VSLAM-решения с учетом задач автоматической ориентации и
совмещения снимков, чтобы обеспечить высокую точность картирования.
Основные направления проекта:
1. Выбор и доработка VSLAM-решения:
○ Рассмотрение доступных VSLAM-решений (например, ORB-SLAM2),
продемонстрировавших высокую точность и стабильность.
○ Внедрение функциональных блоков для трансформации и совмещения
снимков в режиме реального времени.
○ Использование ORB-SLAM2 и его модификаций для минимизации
ошибок локализации и улучшения построения карты.
2. Семантическая сегментация снимков БВС:
○ Сегментация объектов на снимках с использованием ИНС, специально
обученных на задачах выделения структурных элементов.
○ Применение моделей ИНС, таких как DDRNet-23, HyperSeg-M и
STDC1-50, для обработки снимков в реальном времени.
○ Создание сегментационной карты, объединяющей результаты обработки
отдельных снимков в единую карту.
3. Оптимизация работы нейронных сетей:
○ Использование методов, повышающих производительность ИНС,
включая разделимые по глубине свёртки, перемешивание каналов и
блочную обработку.
○ Адаптация ИНС к задачам обработки снимков с БВС для достижения
максимальной скорости (FPS) и точности (mIoU).
○ Подбор оптимальных доступных российских и зарубежных наборов
данных для обучения моделей.
Ожидаемые результаты:
Проект приведет к разработке алгоритмов и моделей, которые позволят в режиме
реального времени формировать ортомозаики и семантически сегментировать
изображения, полученные с БВС