Датчик препятствия для квадрокоптера

Навигация квадрокоптера с использованием монокулярного зрения

Сейчас для многих компьютерное зрение не является тайной за семью замками. Однако новые алгоритмы и подходы не перестают впечатлять. Одним из таких направлений является монокулярное зрение, в особенности SLAM. О том, как мы решали задачу навигации квадрокоптера, оснащенного единственной камерой, и пойдет речь в этой статье.

Задача

Задача заключается в движении по траектории, заданной последовательностью положений, в изначально неизвестном окружении с возможными препятствиями. Для её решения необходимо уметь:

1. Строить карту препятствий
2. Определять положение квадрокоптера относительно траектории и препятствий
3. Корректировать траекторию с учетом облета препятствий
4. Рассчитывать управляющие сигналы – реализовать контроллер

Технической базой является Parrot AR.Drone. AR.Drone снабжен следующими интересующими нас устройствами:

1. Фронтальная камера: 640х360, 30 fps, диагональный угол обзора 92 градуса
2. Нижняя камера: используется встроенным автопилотом для компенсации ветра и дрифта вообще
3. Ультразвуковой датчик высоты: работает в пределах 0.25 – 3 м
4. ИНС (акселерометр + гироскоп + магнетометр) + барометр: все датчики интегрированы в единую систему при помощи (видимо) sensor fusion

Кроме того, на основе показаний ИНС и нижней камеры формируется единая одометрия.

Итак, для построения карты окружения при помощи штатных средств AR.Drone мы можем использовать по большому счету только фронтальную камеру. Это непосредственно приводит нас к задаче монокулярного зрения, а именно к монокулярному SLAM.

Можно смело сказать, что SLAM при помощи единственной камеры – писк современных технологий. Такие алгоритмы, появившиеся в последние несколько лет, можно пересчитать по пальцам руки неосторожного фрезеровщика – это ORB SLAM, LSD (Large Scale Direct) SLAM (и его предшественник SVO (Semi-direct Visual Odometry)), PTAM (Parallel Tracking And Mapping). Еще меньше алгоритмов, строящих более-менее плотные (semi-dense) карты окружения. Из наиболее продвинутых алгоритмов такие карты выдает лишь LSD SLAM:

В двух словах, LSD SLAM работает следующим образом. Параллельно работают три процедуры: трекинг, построение карты и оптимизация карты. Компонент трекинга оценивает положение каждого нового кадра относительно текущего ключевого кадра. Компонент построения карты обрабатывает кадры с известным положением, либо производя очистку карты кадра хитрым способом, либо создавая новый ключевой кадр. Компонент оптимизации карты занимается поиском циклов в графе ключевых кадров и устранением эффекта плавающего масштаба. Более подробно ознакомиться с алгоритмом можно в статье разработчиков.

Для стабильной и эффективной работы алгоритма (эти требования применимы к любому алгоритму монокулярного SLAM) необходимо следующее:

1. Максимально более точная калибровка камеры и последующая ректификация изображения. Точность калибровки и ректификации, а также используемой модели искажений напрямую влияет на качество получаемых карт.
2. Широкий угол обзора камеры. Для более-менее надежной работы нужны камеры с FOV более 80-90 градусов.
3. Достаточное количество кадров секунду. При FOV в 90 градусов количество кадров в секунду не должно быть меньше 30 (лучше – больше).
4. Движения камеры не должны содержать повороты без переноса. Такое движение ломает алгоритм.

Пункты 2 и 3 связаны друг с другом простым соображением: для расчета перемещения между двумя соседними кадрами изображения на этих кадрах должны перекрываться в достаточной степени. Соответственно, чем быстрее перемещается камера, тем больше должны быть угол обзора или частота кадров, чтобы связь между кадрами не потерялась.

При соблюдении этих требований можно получить карты весьма неплохого качества, в чем можно убедиться, посмотрев видео от создателей LSD SLAM:

Впечатляет, не правда ли? Однако даже если Вы достигли такого качества карт, Вас ждет еще одна неприятность: ни один алгоритм монокулярного SLAM принципиально не может оценить абсолютного масштаба полученных карт и, следовательно, локализации. Поэтому необходимо прибегнуть к некоторым хитростям и найти внешний источник данных либо помогающий определить размер объектов карты, либо оценивающий абсолютные значения перемещений камеры. Первый способ ограничен только Вашей фантазией: можно поместить объект известного размера в поле зрения камеры и затем сравнивать его с масштабами похожих частей карты, можно проводить инициализацию алгоритма в заранее известной обстановке, и так далее. Второй способ довольно легко применить, используя, например, данные альтиметра, что мы и проделали.

Для оценки масштаба мы использовали данные о перемещениях по вертикальной оси, полученных из двух источников: от алгоритма LSD SLAM и альтиметра AR.Drone. Отношение этих значений и есть масштаб карты и локализации монокулярной системы. Для устранения случайных возмущений полученное значение масштаба мы отфильтровали фильтром низких частот.

Обход препятствий и корректировка траектории

LSD SLAM хранит карту окружения в виде графа ключевых кадров с привязанными к ним частичными картами глубины. Объединяя все узлы графа, получаем карту известной части окружения в виде облака точек. Однако это еще не карта препятствий! Чтобы получить плотную (dense) карту препятствий, мы воспользовались библиотекой Octomap, строящей карту препятствий в виде октодерева на основе облака точек.

Для проверки столкновений и корректировки траектории мы использовали стек библиотек FCL (Flexible Collision Library) + OMPL (Open Motion Planning Library). После обновления карты запускается проверка столкновения траектории с препятствиями, в случае обнаружения столкновений сегмент траектории пересчитывается планировщиком (мы использовали BIT*, но здесь могут быть варианты).

Контроллер оказался в итоге довольно простым, на основе ПИД-регулятора. Этого оказалось достаточно для следования по траектории. Единственное, что пришлось добавить – ограничение скорости поворота камеры для сохранения стабильности SLAM.

Платформа и общая схема решения

В качестве платформы всего решения мы использовали ROS. Платформа предлагает всю необходимую инфраструктуру для быстрой разработки параллельно работающих компонент (узлов в терминологии ROS), коммуникаций между ними, мониторинга, динамической настройки, отличный симулятор Gazebo и многое другое, облегчающее разработку серьезных робототехнических решений. Хотя стабильность отдельных компонент системы все же оставляет желать лучшего, и использовать её в продакшне ответственного проекта пока не стоит.

Общая схема решения получилась примерно такой:

Бочка меда:

• монокулярный SLAM вполне можно пытаться использовать;
• ROS – очень удобная платформа как минимум для разработки и тестирования, реализация крутых робототехнических проектов становится проще и проще.

Ложка дегтя:

• заставить работать монокулярный SLAM – дело весьма и весьма хитрое, особенно это касается задачи калибровки камеры.

Ссылки:

Источник

Как работает система облета препятствий в квадрокоптере Phantom 4 Pro

Компания DJI в очередной раз удивила фанатов беспилотных летательных аппаратов. На этот раз уникальной системой преодоления препятствий (Obstacle Sensing System) усовершенствованной версии, реализованной в квадрокоптере Phantom Pro 4.

Безопасный полет с Phantom 4 PRO при любой погоде

Phantom 4 Pro нового формата стал первым потребительским летательным аппаратом, оснащенным лучшей системой уклонения от препятствий, способной защитить аппарат от падения. При этом режим полета не имеет значения: летит ли дрон на автопилоте или находится под управлением оператора.

Предшественники Phantom Pro 4 были оснащены двумя стереоскопическими датчиками, установленными с фронтальной части аппарата. Новый представитель, помимо передних, получил от разработчика дополнительную пару сенсоров, обеспечивающих защиту и преодоление преград со всех сторон.

Инфракрасные датчики, установленные на задней части дрона Phantom 4 PRO, способны выявлять любые угрозы на дистанции до 7 метров. Данная функция предоставляет квадрокоптеру достаточно времени для анализа состояния среды, его местоположения и совершения следующего шага. Эффективность системы достигается за счет использования 5 камер, две из которых расположены сверху, две снизу и одна – основная камера. Последняя вращается на 360 градусов, обеспечивая круговое видение. Информация со всех сенсоров моментально анализируются алгоритмами компьютерного зрения. Те, в свою очередь составляют 3D-модель окружающего мира, позволяя прибору максимально точно ориентироваться в воздушном пространстве.

В новинке поддерживается модернизированная система стабилизации, что играет не последнюю роль при огибании препятствий. Разработчику удалось добиться такого результата за счет оснащения дополнительными ультразвуковыми датчиками. Представители предыдущих линеек в критических ситуациях зависали, наклоняясь в разные стороны в зависимости от направления ветра. Дрон Phantom 4 Pro в воздухе висит абсолютно неподвижно, сохраняя предельно высокую стабильность положения. Как считают эксперты, его случайно разбить практически невозможно.

Самостоятельно принимать решения или дожидаться команды оператора?

Аппарат самостоятельно принимает решения, при обнаружении преград на пути: он обходит их, выбирая кратчайшую траекторию и не меняя заданного маршрута. Как только квадрокоптер Phantom 4 PRO обнаруживает масштабное препятствие, обойти которое он не может, дрон зависает в воздухе до тех пор, пока не получит дальнейшую команду от оператора.

Улучшенная сенсорная система — не единственное впечатляющее достоинство нового летательного аппарата. Квадрокоптер линейки Pro оснащен 20 MP матрицей размером в 1 дюйм, позволяющей снимать видео стандарта 4К со скоростью 60 к/с. Он получил более объемную батарею, за счет которой беспилотник может находиться в воздухе на одной зарядке до 30 минут.

Безопасное возвращение домой достигаются на счет налаженной работы системы OSS и дополнительных режимов управления, предусмотренных фирменным приложение DJI. Купить Phantom 4 PRO вы можете уже сегодня в нашем интернет-магазине по лучшей цене.

Источник

Датчики удержания высоты дрона

Любой квадрокоптер средней ценовой категории имеет множество режимов полета. Во всех этих режимах не всегда просто сориентироваться. Давайте попробуем разобраться как работает режим удержания высоты или Altitude Hold Mode и какие датчики за это отвечают.

Что значит режим удержания высоты?

Режим удержания Altitude Hold Mode позволяет пилоту управлять креном (Roll), тангажем (Pitch) и рысканьем (Yaw) не меняя высоты. Если требуется изменить высоту необходимо скорректировать положение стика газа (увеличить или уменьшить).

Какие датчики отвечают за режим Altitude?

Умение удерживать высоту обеспечивается путем анализа давления которое измерят специальный барометрический датчик. Таким датчиком оборудовано большинство современных полетных контроллеров.

Принцип работы бародатчика основан на уменьшении атмосферного давления с увеличением высоты. Однако данные барометрического датчика не всегда точны, например, на малых высотах, в помещении или в случае перемены погоды, когда меняется давление.

Для того, чтобы повысить точность измерения на небольших высотах (до 10 метров) используются другие типы датчиков, например, ультразвуковой датчик или сонар.

Ультразвуковые сенсоры активно применяются, например, в селфи-дронах , многие из которых предназначены для полетов в помещении.

В случае с звукопоглощающими материалами ультразвуковые датчики могут неверно замерять высоту.

Еще один тип датчиков который помогает квадрокоптеру ориентироваться в пространстве – это датчик визуального позиционирования. Этот датчик активно используется в современных дронах фирмы DJI, например, Phantom 4 Pro или Mavic Pro . По сути это видеокамера, которая в режиме реального времени анализирует поверхность под дроном.

У нее тоже есть ряд ограничений, она будет некорректно работать в случае с очень темными или очень яркими поверхностями.

Если вы летаете в основном на улице, для удержания высоты используется GPS/ГЛОНАСС приемники, разумеется если они установлены на вашем дроне.

Как видите одного универсального датчика или сенсора на «все случаи жизни» не бывает, только комплекс датчиков позволяет вашему дрону ориентироваться в пространстве и корректно удерживать высоту.

Плюсы и минусы каждого датчика

Для того, чтобы вам было проще ориентироваться, мы свели всю информацию в таблицу.