РОССИЙСКАЯ ФЕДЕРАЦИЯ ФЕДЕРАЛЬНАЯ СЛУЖБА ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ	(19) RU (11) 2 773 978 (13) C1
	(51) МПК B64C 13/18 (2006.01) B64F 1/18 (2006.01) G05D 1/10 (2006.01) (52) СПК B64F 1/18 (2022.05) B64C 13/18 (2022.05) G05D 1/10 (2022.05)

Статус:	действует (последнее изменение статуса: 21.10.2022)
Пошлина:	учтена за 3 год с 27.11.2023 по 26.11.2024. Установленный срок для уплаты пошлины за 4 год: с 27.11.2023 по 26.11.2024. При уплате пошлины за 4 год в дополнительный 6-месячный срок с 27.11.2024 по 26.05.2025 размер пошлины увеличивается на 50%.

(21)(22) Заявка: 2021134723, 26.11.2021 (24) Дата начала отсчета срока действия патента: 26.11.2021 Дата регистрации: 14.06.2022 Приоритет(ы): (22) Дата подачи заявки: 26.11.2021 (45) Опубликовано: 14.06.2022 Бюл. № 17 (56) Список документов, цитированных в отчете о поиске: RU 110070 U1, 10.11.2011. RU 2727044 C1, 17.07.2020. RU 2714977 C1, 21.02.2020. RU 2724908 C1, 26.06.2020. US 20210229834 A1, 29.07.2021. EP 3497530 B1, 21.07.2021. Адрес для переписки: 420008, Рес. Татарстан, г. Казань, ул. Кремлёвская, 18, Назмиев Ильдар Анасович

(72) Автор(ы): Гайнутдинова Татьяна Юрьевна (RU), Гайнутдинов Владимир Григорьевич (RU), Латыпов Руслан Рустемович (RU), Мухаметзянов Фаиль Фанилевич (RU) (73) Патентообладатель(и): федеральное государственное автономное образовательное учреждение высшего образования "Казанский (Приволжский) федеральный университет" (ФГАОУ ВО КФУ) (RU), Общество с ограниченной ответственностью "ТНГ-Групп" (RU)

(54) Способ точной посадки беспилотного летательного аппарата и устройство для реализации способа

Изобретение относится к способам точной посадки беспилотных летательных аппаратов (БПЛА) самолетного или вертолетного типа, оснащенных бортовыми электронными устройствами наблюдения, навигации и автоматического управления полетом путем измерения угловой ориентации летательного аппарата и расстояния относительно посадочной платформы с оптическими метками.

Повышение точности измерения в зависимости от расстояния до посадочной платформы достигается посредством специально разработанной оптической системы на базе цифровой видеокамеры с предельно минимальным разрешением экрана до 800 на 800 пиксел с использованием комбинации различных по геометрическим размерам групп оптических меток, выполненных в виде монохромного квадрата и треугольника с разными размерами сторон, при этом, для захода на посадку с дальнего расстояния используются метки большей размерности, например, на расстоянии до 250 метров используются отметки с габаритами 5 на 5 метров, при приближении к точке посадки до 100 метров - размерность меток составляет 1 метр на один метр, а при достижении расстояния до 30 метров используются метки размером 0,2 метра на 0,2 метра соответственно.

При этом следует обратить внимание на факт того, что точность измерений также зависит от разрешающей способности матрицы-экрана цифровой камеры.

Система посадки БПЛА независимо от способа посадки решает задачу вывода БПЛА в заданную точку (область) пространства с требуемой точностью и заданными значениями углов ориентации БПЛА, линейных и угловых скоростей. Автоматическая точная посадка БПЛА характеризуется высоким уровнем сложности технической реализации и определяет допустимые условия его применения, гибкость, мобильность, маневренность, автономность, всепогодность, оперативность повторного применения.

Далее в тексте заявителем приведены термины, которые необходимы для облегчения однозначного понимания сущности заявленных материалов и исключения противоречий и/или спорных трактовок при выполнении экспертизы по существу.

БПЛА (беспилотный летательный аппарат) – летательный аппарат без экипажа на борту;

ПП – посадочная платформа;

GPS (англ. Global Positioning System-система глобального позиционирования, читается Джи-ПиЭс) – спутниковая система навигации, обеспечивающая измерение расстояния, времени и определяющая местоположение во всемирной системе координат WGS84;

ГЛОНАСС (Глобальная навигационная спутниковая система) – советская/российская спутниковая система навигации;

Фильтр Калмана – эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений;

Open CV (англ. Open Source Computer Vision Library, библиотека компьютерного зрения с открытым исходным кодом) – библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом.

На дату представления заявленных материалов существует насущная проблема по

повышению точности посадки беспилотных летательных аппаратов, не до конца решена задача автоматической точной посадки на посадочные платформы морского базирования. Решение данной проблемы позволит существенно снизить потери дорогостоящей авиационной техники, снизит число аварий и катастроф, связанных с неудачной посадкой, наиболее сложным и опасным маневром с превалирующим количеством аварийных ситуаций.

Все выявленные заявителем способы посадки беспилотных летательных аппаратов и устройства для их реализации сводятся к следующим основным схемам: посадка по самолетному (на взлетно-посадочную полосу ВПП); посадка по вертолетному (на посадочную платформу ПП); посадка с использованием парашюта; посадка в улавливающее устройство [Системы адаптивного управления летательными аппаратами/ А.С. Новоселов, В.Е. Болнокин, П.И. Чинаев, А.Н. Юрьев. - М. Машиностроение, 1987. 280 с.] [1].

Известен механический способ точной посадки по патенту US20130233964 «Привязная аэросистема для сбора данных» (Tethered aerial system for data gathering) [2].

Сущностью известного технического решения является способ обеспечения безопасности при использовании привязного летательного аппарата, включающий следующие этапы: передачу электрического сигнала от наземной станции к летательному аппарату через трос и обратно к наземной станции через тот же трос; прослушивание электрического сигнала на наземной станции; при этом электрический сигнал, принятый на наземной станции, используется как значение принятого сигнала; при этом значение принятого сигнала устанавливается равным нулю или нулю, когда электрический сигнал не принимается на наземной станции; сравнение принятого значения сигнала с переданным электрическим сигналом для определения значения потери сигнала; запускают наземную станцию для прекращения передачи энергии через трос, когда значение принятого сигнала равно нулю или нулю; указание каждому летательному аппарату, связанному с тросом, вернуться к наземной станции, когда значение потери сигнала превысило предварительно определенное пороговое значение потери сигнала; а также разрешение каждому воздушному транспортному средству, связанному с тросом, продолжать выполнение своего текущего плана полета, когда значение потери сигнала не превышает предварительно заданное пороговое значение потери сигнала.

Данный способ имеет следующие недостатки:

а) пригоден только для привязных аппаратов;

б) масса кабеля-троса значительно снижает массу полезной нагрузки, которую аппарат способен нести;

в) аппарат имеет возможность подниматься на небольшую высоту, определяемой длиной кабеля-троса.

Известный способ был реализован израильской фирмой Sky Sapience в проекте Hover Mast. Беспилотные летательные аппараты мультироторного типа поднимается на определенную высоту, для питания используется медный кабель. Высота подъема ограничена длиной кабеля с возможностью следования за передвигающимся базовым мобильным средством. Точная посадка обеспечивается тем, что БПЛА затягивается на платформу мобильного средства кабелем питания [Проект Hover Mast [http://www.skysapience.com]] [3].

Данный способ имеет следующие недостатки:

а) пригоден только для посадки привязных аппаратов;

б) масса медного кабеля значительно снижает массу полезной нагрузки, которую аппарат способен нести;

в) аппарат имеет возможность подниматься на небольшую высоту (не более 50м,) и небольшое удаление от мобильной платформы.

Известен способ посадки компании DJI по патенту US20140236390 «Малоразмерный беспилотный летательный аппарат вертикального взлета и посадки (VTOL) с воздушной системой беспроводного мониторинга нефтегазопроводов» (Vertical take-off and landing (vtol) small unmanned aerial system for monitoring oil and gas pipelines) [4]. Сущностью способа является система, включающая: автономное и дистанционное управление оператором летательным аппаратом, имеющим множество воздушных винтов для вертикального взлета и посадки; датчики для управления полетом самолета по заданной траектории, при этом снабжен дополнительными датчиками для определение уровня газа в атмосфере на заданной траектории полета; подключение летательного аппарата к сети, обеспечивающей облачные вычисления для оценки на месте обнаруженного уровня газа в атмосфере на траектории полета; запись данных с датчиков; систему автономной посадки самолета на посадочную платформу; передачу записанных данных с летательного аппарата во время стыковки самолета с платформой; а также подзарядку аккумуляторных батарей самолета от источника питания на платформе.

Данный способ имеет следующие недостатки:

а) для осуществления автоматической посадки используется система глобального позиционирования GPS, которая обеспечивает точность посадки 1 - 1,5 метра;

б) способ автоматической посадки применим только для посадки на неподвижную посадочную площадку с известными координатами.

в) способ применим только для посадки аппаратов вертолетного типа.

Известен способ посадки компании SKYCATCH по патенту CN204250382U «Механизм позиционирования и базовая станция БПЛА (беспилотный летательный аппарат) с использованием механизма позиционирования» (Positioning mechanism an UAV (Unmanned Aerial Vehicle) base station using positioning mechanism) [5]. Сущностью является механизм позиционирования, отличающийся тем, что он содержит: основание с площадкой для приземления и зону для позиционирования на площадке приземления; и направляющую для направления объекта к позиционирующей части, направляющая подвижно расположена в зоне посадки, включает в себя направляющую поверхность; при этом состояние подвижного направляющего элемента относительно основания включает в себя нерабочее состояние и рабочее состояние, а форма направляющего элемента в нерабочем состоянии отличается от формы в рабочем состоянии, и направляющая поверхность может примыкать к позиционирующей части в рабочем состоянии.

Данный способ имеет следующие недостатки:

б) способ автоматической посадки применим только для посадки на неподвижную посадочную площадку с известными координатами.

в) способ применим только для посадки аппаратов вертолетного типа.

Таким образом, в известных патентах US20140236390 и CN204250382U используется система глобального позиционирования для обеспечения автоматической посадки беспилотных летательных аппаратов вертолетного типа на неподвижную посадочную площадку с известными координатами.

Известны изобретения способов точной посадки с применением систем технического зрения, в которых используются данные, полученные с помощью цифровой камеры, установленной на борту БПЛА.

Известно изобретение по патенту WO2017160192A1 «Способ точной посадки беспилотного летательного аппарата» [6]. Сущностью является способ точной посадки беспилотного летательного аппарата (БПЛА), включающий в себя этапы, на которых: -получают временную последовательность кадров, закодированную в битовый поток, получаемую с оптической камеры, установленной на БПЛА, и содержащую данные, по меньшей мере, об одной оптической метке, расположенной в точке посадки БПЛА; -определяют, по меньшей мере, два угла смещения при помощи алгоритмов компьютерного зрения; -получают данные, по меньшей мере, о двух углах наклона БПЛА и высоте БПЛА; -обрабатывают полученные данные, по меньшей мере, о двух углах наклона БПЛА и высоте БПЛА при помощи, по меньшей мере, одного рекурсивного фильтра; - определяют вектор смещения БПЛА; -формируют и направляют сигналы управления при помощи пропорционально- интегрально-дифференцирующего (ПИД) регулятора на полетный контроллер БПЛА; -корректируют траекторию посадки БПЛА.

Таким образом, в WO2017160192A1 изложено техническое решение точной посадки аппарата БПЛА вертолетного типа за счет использования полетного контроллера, спутниковой системы навигации, гироскопа, акселерометра, магнитометра, барометра, сонара, бортового компьютера, оптической камеры и, по меньшей мере, одной оптической метки, приведены простые соотношения для вычисления требуемых значений смещений по распознанному изображению оптической метки на экране-матрице электронной камеры. Величины расчетных смещений передаются в блок расчета сигналов управления по крену и тангажу БПЛА, обеспечивающих точную посадку.

Данный способ имеет следующие недостатки:

а) он пригоден только для вертикальной посадки БПЛА вертолетного типа;

б) смещения от точки посадки определяются дополнительными составляющими к текущим значениям углов крена и тангажа, для пересчета этих углов в физические смещения необходимо знать высоту полета БПЛА, которая должна быть определена какими-то другими аппаратными средствами, например, лазерными дальномерами или сонарами;

в) в способе не предусмотрена процедура идентификации – распознания посадочной метки.

Известно изобретение по патенту РФ №2378664 «Способ определения местоположения и углов ориентации летательного аппарата относительно взлетно-посадочной полосы и устройство для его осуществления» [7]. Сущностью является способ определения местоположения и углов ориентации летательного аппарата относительно взлетно-посадочной полосы, основанный на формировании области излучения посадочной траектории, приеме сигналов от источников излучения и определении местоположения летательного аппарата (ЛА) относительно взлетно-посадочной полосы (ВПП), отличающийся тем, что в качестве источников излучения используют два одинаковых лазерных маяка, регистрируют излучение каждого из двух лазерных маяков с известными координатами, установленных вдоль ВПП на полосах безопасности, посредством двух разнесенных оптико-локационных блоков, установленных на борту ЛА и выполненных каждый в виде плоской фотоматрицы, размещенной в фокальной плоскости фотообъектива, осуществляют обработку оцифрованного изображения, снимаемого с фотоматрицы для определения координат изображений лазерных маяков, вычисляют координаты двух лазерных маяков относительно летательного аппарата; вычисляют углы ориентации ЛА относительно ВПП - углы рыскания Ψ, крена γ, тангажа υ, вычисляют матрицу направляющих косинусов, вычисляют координаты ЛА относительно ВПП - горизонтальную дальность до точки касания Х'о, высоту полета Y'o, боковое отклонение от оси ВПП Z'о.

Данный способ имеет следующие недостатки:

а) способ пригоден для автоматической посадки БПЛА самолетного типа при условии известного направления захода на посадку и не пригоден для вертикальной посадки;

б) для применения способа на БПЛА необходимо устанавливать две разнесенные электронные камеры вместо одной;

в) для определения угловой ориентации и расстояния относительно посадочной площадки необходимо решение 6-ти нелинейных уравнений, плохая сходимость решения которых не гарантирует завершение расчетов для получения результатов в режиме реального времени;

г) обнаружение изображения точечных источников на фоточувствительном экране-матрице не гарантирует ошибочного определения иного излучающего источника вместо инфракрасного излучателя на посадочной полосе.

Исходя из анализа исследованного уровня техники, заявитель делает вывод, что выявленные аналоги, наиболее близкие по существу и совпадающим признакам заявленному техническому решению, имеют оптические или инфракрасные метки на посадочной платформе, систему технического зрения и контроллер системы автоматического управления на борту и определенную последовательность выполняемых операций для осуществления посадки, а именно:

- получение данных об оптических (инфракрасных) метках на посадочной платформе по изображению на фото-матрице цифровой оптической (инфракрасной) камеры;

- обработка полученных данных в бортовом компьютере для определения положения БПЛА относительно точки посадки;

- передача расчетных данных в бортовой контроллер системы автоматического управления и вычисление управляющих сигналов для осуществления автоматической посадки.

Недостатки выявленных аналогов:

- техническое решение точной посадки, описанный в патенте РФ №2378664, применим для захода на посадку летательных аппаратов по самолетному, если заранее известно направлению посадки, его невозможно использовать для вертикальной посадки или любого другого способа посадки при отсутствии на борту дополнительной информации о направлении захода на посадку;

- в выявленном аналоге в алгоритмах определения угловой ориентации БПЛА применяется решение 6-ти нелинейных уравнений, в материалах приведенного описания изобретения не подтверждена скорость сходимость решения, не гарантируется завершение вычислений в режиме реального времени, следовательно, не гарантируется выдача данных для навигационных расчетов, производимых бортовым контроллером системы автоматического управления, с необходимой для управления БПЛА частотой;

- техническое решение точной посадки, описанный в патенте WO2017160192A1, применим для вертикальной посадки летательных аппаратов вертолетного типа, его невозможно использовать для захода на посадку по самолетному;

- в выявленном аналоге для вычисления смещения БПЛА от точки посадки предлагается определение высоты полета БПЛА иными аппаратными средствами, отличными от используемых в системе технического зрения ( сонары, лазерные дальномеры и т.п), которые определяют текущую высоту БПЛА над подстилающей поверхностью, и только при нахождении БПЛА непосредственно над точкой посадки непосредственно относительно посадочной плоскости).

- в выявленных аналогах отсутствует процедура распознания посадочной метки, так как на экране-матрице цифровой камеры происходит обнаружение локальной зоны, отличающейся по степени яркости, определяется центр этой зоны в качестве изображения метки, но из-за отсутствие процедуры распознавания метки некоторые из них могут быть приняты за изображение метки на посадочной платформе ошибочно, а являться изображением иных оптических объектов.

Исходя из анализа исследованного уровня техники заявитель делает вывод, что:

- основным недостатком выявленных аналогов является низкая надежность известных технических решений точной посадки с использованием систем технического зрения из-за того отсутствия в программном обеспечении системы технического зрения процедуры распознания (идентификации) посадочной метки, что может привести к ошибочному принятию обнаруженного контрастного объекта или источника излучения за посадочную метку с последующими негативными последствиями;

- используемые для решения задачи определения пространственной ориентации летательного аппарата алгоритмы решения нелинейных уравнений не гарантируют получения решения в отведенном временном интервале и передачу данных в бортовой компьютер управления, который вычисляет сигналы управления с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки беспилотного летательного аппарата на посадочную платформу в автоматическом режиме.

- выявленные аналоги относятся к единичным типам посадки летательных аппаратов, поэтому совпадают с заявленным техническим решением по различным единичным признакам в разных аналогах, вследствие чего прототип по отношению к заявленному способу не выявлен, поэтому независимый пункт формулы изобретения составлен без ограничительной части.

Сущностью заявленного изобретения является способ точной посадки беспилотного летательного аппарата путем измерения угловой ориентации летательного аппарата и расстояния относительно платформы с оптическими метками, заключающийся в том, что на посадочной платформе наносят по меньшей мере две монохромные оптические метки в виде треугольника и квадрата с известными геометрическими размерами и четкими прямолинейными границами, при этом компьютер, установленный на беспилотном летательном аппарате, при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемых с цифровой камеры, установленной на беспилотном летательном аппарате, обнаруживает и распознает изображение оптических меток, по координатам угловых точек изображения метки на камере вычисляет соответствующие координаты угловых точек метки на посадочной платформе и при помощи алгоритма сопоставления геометрических параметров из расчетных и фактических координат угловых точек метки на посадочной платформе определяет угловое положения беспилотного летательного аппарата, высоту и расстояние относительно посадочной платформы, передает эти данные в бортовой компьютер управления, который вычисляет сигналы управления с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки беспилотного летательного аппарата на посадочную платформу в автоматическом режиме. Устройство для реализации способа по п.1. состоящее из оптической метки на посадочной платформе, выполненное, по меньшей мере, из монохромного квадрата и треугольника с известными размерами и четкими прямолинейными границами, цифровой оптической камеры, бортового компьютера с программным обеспечением по обнаружению и распознаванию посадочной метки, при этом цифровая камера и бортовой компьютер объединены в единый измерительный сегмент; бортового контроллера системы автоматического управления с программным обеспечением и блоком инерциальных датчиков, инерциальными трехстепенными сенсорами угловой скорости, ускорения, магнетометром; датчиком давления, приемником спутниковой навигации GPS/ГЛОНАСС и радиовысотомером.

Техническим результатом заявленного технического решения является разработка способа и устройства точной посадки беспилотного летательного аппарата самолетного и вертолетного типа путем измерения угловой ориентации летательного аппарата и расстояния относительно посадочной платформы с оптическими метками с известными геометрическими размерами с использованием алгоритмов и соответствующего программного обеспечения обнаружения и распознавания изображения меток на экране-матрице бортовой цифровой камеры, алгоритма и программного обеспечения сопоставления расчетных геометрических параметров метки с аналогичными параметрами оригинальной метки на посадочной платформе и последующим использованием данных по угловой ориентации и расстоянию летательного аппарата относительно посадочной платформы в навигационных расчетах для автоматической посадки летательных аппаратов самолетного и вертолетного типа на неподвижную или движущуюся платформу.

При этом достигается:

1 – возможность определения углового положения летательного аппарата и расстояния относительно посадочной платформы с использованием только экранных координат угловых точек распознанного изображения оптической метки на экране-матрице цифровой камеры, установленной на борту;

2 – возможность определения высоты полета относительно неподвижной или движущейся посадочной платформы с оптическими метками, а не относительно земной поверхности в зоне посадки, а также координат угловых точек посадочных меток на посадочной площадке в осях связанной системы координат летательного аппарата;

3 – возможность завершения необходимых навигационных расчетов в режиме реального времени для осуществления автоматической точной посадки летательного аппарата на посадочную платформу;

4 – применимость заявляемого способа точной посадки для всех типов летательных аппаратов, совершающих посадку по самолетному (с пробегом) или по вертолетному (вертикальная посадка на платформу) типу;

5 – применимость заявляемого способа точной посадки летательных аппаратов всех типов на платформу с оптическими метками, которая может совершать поступательное движение и повороты по курсу, крену и дифференту во время автоматической посадки летательного аппарата.

Таким образом, заявленное техническое решение направлено на устранение недостатков выявленных аналогов заявляемого способа точной посадки, применимого для летательных аппаратов и самолетного и вертолетного типа, а именно:

- повышение достоверности и точности получаемых бортовым контроллером системы автоматического управления данных от системы технического зрения, за счет исключения ошибки при обнаружении изображения метки путем использования алгоритма и соответствующего программного обеспечения по распознаванию обнаруженных на экране меток;

- повышения гарантии получения необходимых данных от системы копьютерного зрения бортовому компьютеру системы автоматического управления за счет гарантированного завершения вычислений по определению пространственного положения аппарата в отведенном временном интервале;

- обеспечения возможности определения ориентации беспилотного летательного аппарата относительно главного направления посадки на посадочной платформе;

- обеспечения точности посадки при использовании цифровых оптических камер с низкой разрешающей способностью за счет одновременного использования комбинации меток треугольник-квадрат разной размерности.

Заявленное техническое решение поясняется Фиг.1 – Фиг.8.

На Фиг.1 показана оптическая метка на посадочной платформе в виде монохромного квадрата, где: 1, 2, 3, 4 – угловые точки.

На Фиг.2 показано изображение двух оптических меток в виде монохромного квадрата и треугольника, определяющих главное направление на посадочной платформе.

На Фиг.3 показано типичное изображение на экране-матрице цифровой камеры, соответствующее оптической метке в виде монохромного квадрата на посадочной платформе.

На Фиг.4 показаны распознанные угловые точки 1, 2, 3, 4 изображения монохромного квадрата с нумерацией, соответствующей нумерации угловых точек на оригинале оптической метки, показанной на Фиг.1.

На Фиг.5 приведена схема проецирования точек, находящихся в плоскости посадочной платформы 5 в соответствующие точки изображения в плоскости экрана-матрицы электронной камеры 6, показана точка схода С, орты системы координат в плоскости посадочной платформы и орты системы координат, связанные с плоскостью экрана-матрицы электронной камеры, показана высота H – расстояние от точки схода С до плоскости посадочной платформы.

На Фиг.6 показан процесс сходимости итерационного решения по определению углов крена и тангажа ( и ) летательного аппарата относительно плоскости посадочной платформы, на горизонтальной оси отмечен порядковый номер итерации k , на вертикальной оси отмечены значения и , точками на графике отмечены вычисленные значения и , соответствующие номеру итерации.

На Фиг.7 показана схема сегментов аппаратной части обеспечения автоматической посадки: сегмент на посадочной платформе 7; отсек размещения сегмента технического зрения на БПЛА 8; изображение посадочной полосы на цифровой камере 9; аппаратная часть сегмента технического зрения 10, автопилот 11, в блок технического зрения входит: устройство - 12 Raspberry Pi 3 Model B+ на базе процессора Broadcom BCM2837B0 (Cortex-A53); цифровая веб-камера – 13, радиовысотомер 14, блок инерциальных датчиков - 15, микропроцессор борового контроллера STM32F427ZG – 16, приемник GPS/ГЛОНАСС – 17.

На Фиг.8 показана подробная структура аппаратной части и перечень алгоритмов программного обеспечения для осуществления автоматической посадки на посадочную платформу и схема передачи расчетных данных между основными сегментами структуры.

Далее заявителем приведено описание заявленного технического решения.

Заявленное устройство, посредством которого реализуется заявленный способ, состоит из следующих конструктивных элементов:

– оптической метки на посадочной платформе, состоящей, по меньшей мере, из монохромного квадрата и треугольника с известными размерами и четкими прямолинейными границами;

– цифровой оптической камеры;

– бортового компьютера с программным обеспечением по обнаружению и распознаванию посадочной метки (цифровая камера и бортовой компьютер объединены в единый измерительный сегмент);

– бортового контроллера системы автоматического управления с программным обеспечением и блоком инерциальных датчиков: инерциальными трехстепенными сенсорами угловой скорости, ускорения, магнетометра; датчика давления, приемника спутниковой навигации GPS/ГЛОНАСС;

– радиовысотомера.

На Фиг.7 показана схема сегментов аппаратной части системы автоматической посадки созданного авторами заявки беспилотного летательного аппарата вертикального взлета и посадки, способного совершать полет в вертолетном режиме за счет сил, создаваемых подъемными воздушными винтами, и в режиме обычного самолета за счет силы тяги маршевого двигателя и подъемной силы, создаваемой крылом. Наземный сегмент системы посадки 7 состоит из посадочной платформы с нанесенной на ней оптической меткой в виде монохромного квадрата и треугольника. Бортовой сегмент системы включает блок технического зрения 10 и блок системы автоматического управления 11. В блок технического зрения входит: устройство - 12 Raspberry Pi 3 Model B+ на базе процессора Broadcom BCM2837B0 (Cortex-A53) с тактовой частотой 1.4ГГц с вентилятором охлаждения чипа; цифровая веб-камера - 13 с разрешением матрицы 800х600.

Позицией 14 на Фиг.7 отмечен радиовысотомер, данные которого по высоте над поверхностью используются вместе с расчетными данными блока технического зрения и передаются в бортовой контроллер системы автоматического управления 11.

В состав бортового контроллера управления (11) входит: блок инерциальных датчиков - 15 ADIS 16480, включающий трехстепенной аскселерометр, трехстепенной сенсор угловой скорости, трехстепенной магнетометр, датчик давления и температуры; микропроцессор борового контроллера STM32F427ZG - 16; приемник GPS/ГЛОНАСС – 17.

Программное обеспечение сегмента технического зрения состоит из: программы обработки изображений (включает процедуру обнаружения и распознавания посадочной метки) и программы вычислений по определению параметров углового положения и расстояния до посадочной платформы. Программы написаны на языке Java с использованием библиотеки OpenCV. Программное обеспечение программа может работать на любых аппаратных средствах, поддерживающих Java SE и библиотеку OpenCV. Программное обеспечение для бортового контроллера системы автоматического управления БПЛА написана на языке С++, производит обработку цифровых данных, поступающих с инерциальных измерительных сенсоров и данных блока технического зрения, формируют сигналы управления беспилотным летательным аппаратом, совершающим полет по заданной траектории в автоматическом режиме, включая автоматическую посадку на посадочную платформу.

На Фиг.8 показана подробная структура аппаратной части и алгоритмов программного обеспечения для осуществления автоматической посадки на посадочную платформу. При обнаружении посадочной метки компьютер, входящий в состав измерительного блока технического зрения, производит идентификацию посадочной метки, после чего производит вычисления данных по угловой ориентации и расстояния до посадочной платформы. Эти данные передаются в бортовой контроллер системы автоматического управления с наибольшим весовым коэффициентом, определяющим приоритет над аналогичными данными, поступающими с инерциальной навигационной системы, спутниковой навигационной системы, данными других датчиков (радиовысотомера) для выполнения коррекции вычислений текущих координат, скорости и угловой ориентации аппарата относительно посадочной платформы с использованием алгоритма фильтра Калмана. Алгоритмы поиска и идентификации посадочной метки исключает возможность поступления недостоверных данных из измерительного блока технического зрения в блок коррекции расчетных координат скоростей и углового положения аппарата бортового контроллера системы автоматического управления.

Заявленное техническое решение обеспечивает получение результата, заключающегося в увеличении точности автоматической посадки БПЛА за счет использования полетного контроллера, спутниковой системы навигации, гироскопа, акселерометра, магнитометра, барометра, вспомогательного бортового компьютера, объединенного с бортовой цифровой камерой в один измерительный блок, и, по меньшей мере, двух монохромных оптических меток на посадочной платформе в виде треугольника и квадрата с известными геометрическими размерами и координатами характерных угловых точек, являющихся пересечением линий, ограничивающих фигуру монохромной оптической метки, и соответствующих алгоритмов поиска, обнаружения и идентификации посадочных меток с последующим расчетом угловой ориентации, скорости и текущих координат аппарата относительно посадочной платформы.

Предметом заявленного технического решения является способ и устройство точной посадки беспилотного летательного аппарата путем определения углового положения беспилотного летательного аппарата и расстояния относительно посадочной платформы с оптическими метками, в котором компьютер, установленный на БПЛА при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемую с цифровой камеры, установленной на БПЛА, производит обнаружение и распознавания посадочных оптических меток, на основании анализа геометрии которых производит расчет углового положения БПЛА, высоты и расстояния относительно посадочной платформы и передает эти данные в бортовой компьютер управления, который в свою очередь, вычисляет сигналы управления в автоматическом режиме с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки беспилотного летательного аппарата.

Заявленный способ точной посадки беспилотного летательного аппарата путем определения угловой ориентации беспилотного летательного аппарата и расстояния относительно посадочной платформы, заключается в следующем:

1 – на посадочной платформе наносят, по меньшей мере, две монохромные оптические метки в виде треугольника и квадрата с известными геометрическими размерами и четкими прямолинейными границами;

2 – компьютер, установленный на БПЛА, при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемых с цифровой камеры, установленной на БПЛА;

3 – обнаруживает и распознает на экране-матрице электронной камеры изображение оптической метки на посадочной платформе;

4 – по расположению треугольной оптической метки относительно квадратной определяет главное направление на посадочной платформе для случая посадки летательного аппарата по самолетному типу;

5 – по координатам угловых точек изображения оптической метки на камере вычисляет соответствующие координаты угловых точек квадратной оптической метки на посадочной платформе;

6 – при помощи алгоритма сравнения геометрических параметров из расчетных и известных фактических координат угловых точек квадратной оптической метки на посадочной платформе определяет угловое положения БПЛА, высоту и расстояние относительно посадочной платформы;

7 – передает эти данные в бортовой контроллер системы автоматического управления для вычисления сигналов управления для осуществления точной посадки.

Более подробно заявленное техническое решение осуществляется следующим образом.

Для распознавания оптических меток и расчетов углового положения беспилотного летательного аппарата и расстояния относительно посадочной платформы используют отдельный процессор с программой Open CV, объединенный с цифровой камерой и расчетным блоком в единый измерительный блок, полученные данные с которого по угловому положению и высоте полета БПЛА относительно посадочной платформы поступают в блок навигационных расчетов бортового контроллера управления и используются в качестве наблюдаемых (измеренных) величин в алгоритме навигационных расчетов с применением фильтра Калмана.

Пример. Измерение угловой ориентации летательного аппарата и расстояния относительно платформы с оптическими метками.

На посадочной платформе имеется, по меньшей мере, две монохромные оптические метки в виде треугольника и квадрата с известными геометрическими размерами и четкими прямолинейными границами.

Длину стороны квадрата принимают равной, например, 5 м, задают координаты угловых точек 1-2-3-4 в системе координат посадочной платформы , как показано на Фиг.5 , например, , , ,; берут фокусное расстояние камеры, например, , задают положение летательного аппарата относительно ПП координатой точки схода, обозначенной на Фиг.5 буквой С , например, (вторая компонента радиус-вектора определяет высоту H относительно ПП, как показано на фиг.5), задают текущие углы курса, крена и тангажа, например, , , .

Компьютер, установленный на БПЛА, при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемых с цифровой камеры, установленной на БПЛА, обнаруживает и распознает изображение оптической метки на посадочной платформе и по расположению треугольной оптической метки относительно квадратной определяет главное направление на посадочной платформе для случая посадки летательного аппарата по самолетному типу;

На экране-матрице бортовой цифровой камеры распознанное изображение квадратной оптической метки представляет некоторый четырехугольник, как показано на Фиг.3.

По координатам угловых точек изображения оптической метки на камере вычисляет соответствующие координаты угловых точек квадратной оптической метки на посадочной платформе. Для этого с помощью программ Open CV процессор, объединенный с цифровой камерой, определяет положение угловых точек изображения метки 1-2-3-4 целочисленными значениями пикселов по горизонтали и вертикали как показано на Фиг.4 для точки 1. Для перевода целочисленных «пиксельных» координат и (точки на экране-матрице, отсчитываются с левого верхнего угла) в физические координаты и экрана используют следующее матричное соотношение

, (1)

где , - константы перевода физических размеров (на матрице цифровой камеры соответствует количеству пикселов , по высоте и ширине), , - учитывает смещение начала отсчета пикселов в левый верхний угол экрана (матрицы камеры), учитывает неортогональность осей камеры.

Элементы матрицы соотношения (1) определяют внутренние параметры электронной камеры и вычисляются в результате известных и хорошо отработанных процедур калибровки. Целочисленные значения и вносят определенную погрешность при вычислении физических координат и .

По физическим координатам распознанных угловых точек и изображения на экране-матрице производят расчет координат угловых точек соответствующей оптической метки квадрата на посадочной платформе в осях экрана-матрицы с ортами , ,, Фиг.5, по следующему векторному соотношению

(2)

где , и физические координаты на экране-матрице, - фокусное расстояние камеры, r_с – радиус вектор точки схода С в осях камеры, H – расстояние (высота) от точки схода С до плоскости посадочной площадки, с_i - элементы второго столбца матрицы косинусов, определяемые углами крена и тангажа ( и ).

(3)

Поскольку значения величин H, и на этом этапе расчетов неизвестны, то производят определение величин H, и в следующей последовательности.

Задают начальные значения неизвестных углов и равными нулю и формируют две функции:

(4)

Нормирование векторов в соотношении (4) позволяет использовать в расчетах на этом этапе только имеющихся в распоряжении значения экранных координат и , исключив H в соотношении (2). Для квадратной оптической метки на посадочной платформе, как и для любого квадрата, известно, что отрезок линии между точками 1 – 2 и отрезок линии между точками 2 – 3, а также отрезки диагональных линий между точками 1 – 3 и 2 – 4. должны быть ортогональны друг другу, т.е. в этом случае расчетные значения функций (4) должны быть равны нулю (номера угловых точек показаны на Фиг. 1).

Неточные (нулевые начальные значения и ) определяют невязку – ненулевое значение уравнений (4). Величина невязки используется для уточнения углов и решением следующего рекуррентного уравнения:

, (5)

где номер итерации.

Расчет производных , в (5) сведен к алгебраическим операциям умножения, сложения, деления компонент матрицы косинусов (3) и экранных координат и . Поэтому формирование матричного уравнения (5) не требует больших временных затрат на вычисления, а сходимость решения достигается за 5 - 7 итераций, что показано на Фиг.6. В рассмотренном примере восстановленные величины углов имеют значения , после 7 итераций.

Это означает, что расчет углового положения относительно посадочной платформы может быть произведен в режиме реального времени в интервале, отведенном на навигационные расчеты в бортовом контроллере управления БПЛА.

После уточнения углов и вычисляют высоту H по соотношению

, (6)

В рассматриваемом примере получено расчетное значение H = 50,1 м.

Далее вычисляют координаты всех угловых точек оптической метки в осях камеры по соотношению:

(1+f)b_i (7)

Далее определяют курс БПЛА относительно главного направления посадочной платформы. Известно, что для определения полной угловой ориентации беспилотного летательного аппарата относительно посадочной платформы достаточно знать не менее двух векторов одновременно в осях ПП и осях экрана матрицы .

При использовании в качестве оптических меток квадрата с известными геометрическими размерами имеется 6 векторов в виде отрезков линий, соединяющих угловые точки оптической метки, определенных одновременно в осях ПП и рассчитанные по соотношениям (6,7) в осях экрана матрицы .

Для расчета полной угловой ориентации используют расчетный модуль, описанный в статье [Гайнутдинова Т.Ю., Гайнутдинов А.В., Гайнутдинов В.Г. Об экономичной схеме оценки параметров угловой ориентации с использованием трехстепенных микроэлектромеханических сенсоров невысокой точности [About the Efficient Scheme of Initial Attitude Estimation Using Low Accuracy Micro-Electro-Mechanical Sensors / Gainutdinova, T.Y., Gainutdinova, A.V., Gainutdinov, V.G. Russian Aeronautics, Allerton Press, Inc.,  2019, 62(3), pp. 387–393] [8].

В приведенном примере полученное расчетное значение завершает определение полной угловой ориентации аппарата относительно посадочной платформы, включая курсовой угол (направление захода на посадку) по отношению к главному направлению на ПП.

При этом угловая ориентация летательного аппарата определяется относительно посадочной платформы, которая может располагаться на неподвижном или движущемся объекте.

Полученные расчетные значения по угловой ориентации летательного аппарата и расстояния относительно посадочной платформы передают в бортовой контроллер управления с наибольшим весовым коэффициентом, определяющим приоритет над аналогичными данными, поступающими с инерциальной навигационной системы, спутниковой навигационной системы, данными других датчиков (радиовысотомера), бортовой контроллер вычисляет сигналы управления с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки БПЛА в автоматическом режиме.

Сигналы управления рассчитываются в блоке навигационного расчета бортовым контроллером по алгоритмам с использованием законов управления боковым и продольным управлением летательного аппарата. Исходными данными для расчета управляющих сигналов является расхождение координат и скорости текущего положения летательного аппарата и рассчитанных координат центра квадратной оптической метки, а также рассчитанные углы ориентации БПЛА относительно посадочной платформы.

Версия алгоритма обнаружения и распознания маркерных изображений в форме монохромного (черного) внешнего креста и белого внутреннего креста меньшего размера для вертикальной посадки летательного аппарата отмечена дипломом первой степени на конкурсе научно-технических работ и проектов «Молодежь и будущее авиации и космонавтики 2020» в номинации «Информационно-телекоммуникационные технологии авиационных, ракетных и космических систем». [Алгоритм обнаружения маркерных изображений для вертикальной посадки летательного аппарата. Абдуллин И.Н., Трусфус М.В., КНИТУ-КАИ, протокол №3 27.11.2020, г. Москва, https://mforum.mai.ru/files/2020_final_results.pdf] [9].

Работоспособность бортового аппаратного и программного обеспечения подтверждена полетными испытаниями.

Таким образом, из изложенного выше можно сделать вывод, что заявителем достигнут заявленный технический результат, а именно: разработан способ точной посадки беспилотного летательного аппарата и устройство для его реализации путем измерения угловой ориентации летательного аппарата и расстояния относительно посадочной платформы с оптическими метками в виде треугольника и квадрата с известными геометрическими размерами с использованием алгоритмов обнаружения и распознавания изображения меток на экране-матрице бортовой цифровой камеры и алгоритма сопоставления расчетных геометрических параметров квадратной метки с аналогичными параметрами оригинальной квадратной метки на посадочной платформе и последующим использованием данных по угловой ориентации и расстоянию летательного аппарата относительно посадочной платформы в навигационных расчетах сигналов управления, производимых бортовым контроллером системы автоматического управления для автоматической посадки летательных аппаратов самолетного и вертолетного типа на неподвижную или движущуюся платформу с погрешностью не более 0,1 метра.

При этом достигнута:

– возможность определения углового положения летательного аппарата и расстояния относительно посадочной платформы с использованием только экранных координат угловых точек распознанного изображения оптической метки на экране-матрице цифровой камеры, установленной на борту (в приведенном примере начальные значения углов , принимались равными нулю, т.е. не были определены заранее иным способом или иными средствами);

– возможность определения высоты полета относительно неподвижной или движущейся посадочной платформы с оптическими метками, а не относительно земной плоскости в зоне посадки, а также координат угловых точек посадочных меток на посадочной площадке в осях связанной системы координат летательного аппарата (в приведенном примере расчетное значение высоты полета H = 50,1 м определяется соотношением (6), координаты угловых точек квадратной метки определяются соотношениями (7), в которые входят геометрические параметры, известные в координатах плоскости посадочной платформы и определенные в координатах плоскости экрана-матрицы цифровой камеры, установленной на борту);

– возможность завершения необходимых навигационных расчетов в режиме реальном времени для осуществления автоматической точной посадки летательного аппарата на посадочную платформу (в приведенном примере все расчеты углового положения летательного аппарата завершаются за конечное число итераций - 7 , затраченное время расчетов, на два порядка меньше интервала проведения навигационных расчетов бортовым контроллером после определения своего текущего положения относительно посадочной платформы);

– применимость заявляемого способа точной посадки для всех типов летательных аппаратов, совершающих посадку по самолетному (с пробегом) или по вертолетному (вертикальная посадка на платформу) (из приведенного примера следует не только возможность определения поправок для точной посадки на посадочную платформу аппаратов в случае вертикальной посадки, но и определение ориентации летательного аппарата по курсу относительно главного направления на посадочной платформе в случае посадки по самолетному);

– применимость заявляемого способа точной посадки летательных аппаратов всех типов на платформу с оптическими метками, которая может совершать поступательное движение и повороты по курсу, крену и дифференту во время автоматической посадки летательного аппарата (все расчеты угловой ориентации и пространственного положения летательного аппарата производятся по параметрам распознанных оптических меток на посадочной платформе носителя вне зависимости от его неподвижного или подвижного состояния, время расчетов на два порядка меньше интервала проведения навигационных расчетов бортовым контроллером после определения своего текущего положения относительно посадочной платформы).

Заявленное техническое решение соответствует условию патентоспособности «новизна», предъявляемому к изобретениям, так как из исследованного заявителем уровня техники не выявлена совокупность признаков, приведенная в независимом пункте формулы изобретения.

Заявленное техническое решение соответствует условию патентоспособности «изобретательский уровень», предъявляемому к изобретениям, так как из исследованного заявителем уровня техники не выявлена совокупность приведенных в независимом пункте формулы изобретения признаков и совокупность полученных технических результатов.

Заявленное техническое решение соответствует условию патентоспособности «промышленная применимость», предъявляемому к изобретениям, так как заявленное техническое решение возможно реализовать в промышленности посредством применения известных из уровня техники материалов, оборудования и технологий.

Использованные источники:

1. Системы адаптивного управления летательными аппаратами/ А.С. Новоселов, В.Е. Болнокин, П.И. Чинаев, А.Н. Юрьев. - М. Машиностроение, 1987. 280 с.

1. Tethered aerial system for data gathering [https://www.google.ru/patents/ US20130233964]/

2. Проект Hover Mast [http://www.skysapience.com]

3. Vertical take-off and landing (vtol) small unmanned aerial system for monitoring oil and gas pipelines [http://www.google.com/patents/ US20140236390]

4. Positioning mechanism an UAV (Unmanned Aerial Vehicle) base station using positioning mechanism https://www.google.ru/patents/CN204250382U?cl = en&hl = ru&dq = SKYCATCH].

5. Способ точной посадки беспилотного летательного аппарата https://patents.google.com/patent/WO2017160192A1/ru/.

6. Патент РФ 2378664 от 09.07.2008. Способ определения местоположения и углов ориентации летательного аппарата относительно взлетно-посадочной полосы и устройство для его осуществления. Заявитель и патентообладатель Бондарев В. Г., Бондарев В. В., Бондарев М.В., Ипполитов С. В., Конотоп В. И., Лейбич А. А. ‒ No 2008128185; заявл. 09.07.2008; опубл. 10.01.2010, Бюл. No 8. ‒ 16.

7. About the Efficient Scheme of Initial Attitude Estimation Using Low Accuracy Micro-Electro-Mechanical Sensors / Gainutdinova, T.Y., Gainutdinova, A.V., Gainutdinov, V.G. Russian Aeronautics, Allerton Press, Inc.,  2019, 62(3), pp. 387–393.

9. https://mforum.mai.ru/files/2020_final_results.pdf

Формула изобретения

1. Способ точной посадки беспилотного летательного аппарата путем измерения угловой ориентации летательного аппарата и расстояния относительно платформы с оптическими метками, заключающийся в том, что на посадочной платформе наносят по меньшей мере две монохромные оптические метки в виде треугольника и квадрата с известными геометрическими размерами и четкими прямолинейными границами, при этом компьютер, установленный на беспилотном летательном аппарате, при помощи алгоритмов компьютерного зрения обрабатывает последовательность поступающих кадров, получаемых с цифровой камеры, установленной на беспилотном летательном аппарате, обнаруживает и распознает изображение оптических меток, по координатам угловых точек изображения метки на камере вычисляет соответствующие координаты угловых точек метки на посадочной платформе и при помощи алгоритма сопоставления геометрических параметров из расчетных и фактических координат угловых точек метки на посадочной платформе определяет угловое положение беспилотного летательного аппарата, высоту и расстояние относительно посадочной платформы, передает эти данные в бортовой компьютер управления, который вычисляет сигналы управления с частотой, достаточной для корректировки траектории и обеспечения заданной точности посадки беспилотного летательного аппарата на посадочную платформу в автоматическом режиме.

2. Устройство для реализации способа по п.1, состоящее из оптической метки на посадочной платформе, выполненное, по меньшей мере, из монохромного квадрата и треугольника с известными размерами и четкими прямолинейными границами, цифровой оптической камеры, бортового компьютера с программным обеспечением по обнаружению и распознаванию посадочной метки, при этом цифровая камера и бортовой компьютер объединены в единый измерительный сегмент; бортового контроллера системы автоматического управления с программным обеспечением и блоком инерциальных датчиков, инерциальными трехстепенными сенсорами угловой скорости, ускорения, магнетометром; датчиком давления, приемником спутниковой навигации GPS/ГЛОНАСС и радиовысотомером.