РОССИЙСКАЯ ФЕДЕРАЦИЯ ФЕДЕРАЛЬНАЯ СЛУЖБА ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ	(19) RU (11) 2 724 908 (13) C1
	(51) МПК B64C 13/00 (2006.01) (52) СПК B64C 13/00 (2020.02) G05D 1/00 (2020.02)

Статус:	действует (последнее изменение статуса: 10.08.2022)
Пошлина:	учтена за 4 год с 18.06.2022 по 17.06.2023. Установленный срок для уплаты пошлины за 5 год: с 18.06.2022 по 17.06.2023. При уплате пошлины за 5 год в дополнительный 6-месячный срок с 18.06.2023 по 17.12.2023 размер пошлины увеличивается на 50%.

(21)(22) Заявка: 2019118613, 17.06.2019 (24) Дата начала отсчета срока действия патента: 17.06.2019 Дата регистрации: 26.06.2020 Приоритет(ы): (22) Дата подачи заявки: 17.06.2019 (45) Опубликовано: 26.06.2020 Бюл. № 18 (56) Список документов, цитированных в отчете о поиске: RU 164139 U1, 20.08.2016. RU 164249 U1, 20.08.2016. RU 2476825 C2, 27.02.2013. WO 2018232196 A1, 20.12.2018. CN 0107202982 B, 07.08.2018. Адрес для переписки: 152935, Ярославская обл., Рыбинский р-н, г. Рыбинск, ул. Моторостроителей, 11, оф. 27, Общество с ограниченной ответственностью "Скайлайн", директору Н.Е. Целовальниковой

(72) Автор(ы): Целовальникова Наталья Евгеньевна (RU) (73) Патентообладатель(и): Общество с ограниченной ответственностью "Скайлайн" (RU)

(54) СПОСОБ ПОСАДКИ БВС САМОЛЕТНОГО ТИПА НА ВЗЛЕТНО-ПОСАДОЧНУЮ ПОЛОСУ С ИСПОЛЬЗОВАНИЕМ ОПТИЧЕСКИХ ПРИБОРОВ РАЗЛИЧНОГО ДИАПАЗОНА

Настоящее изобретение относится к способам посадки беспилотного воздушного судна самолетного типа на взлетно-посадочную полосу с использованием оптических приборов различного частотного диапазона излучения.

В настоящее время приоритетным направлением развития российского военного авиастроения является беспилотная авиация, в частности тактическое и оперативно-тактическое звено. При выполнении разведывательных задач преимущества беспилотной тактической авиации перед пилотируемой очевидны: на порядок более низкая себестоимость летательного аппарата и его обслуживания, малые габариты (как следствие, скрытность и мобильность), отсутствие риска для жизни пилота. Однако полностью реализовать преимущества БПЛА можно лишь при полном отсутствии пилота, т.е. автономно. В противном случае, жизнеспособность и круг решаемых БПЛА задач попадает в критическую зависимость от квалификации оператора, а также, что не менее важно, от канала связи между оператором и летательным аппаратом: в условиях военных действий использование радиосвязи во всех ее проявлениях может быть ограничено как зашумлением сигнала вражеской стороной, так и в целях соблюдения режима радиомолчания. В этих условиях остро встает проблема автономной посадки БПЛА - одного из самых сложных маневров в авиации.

Согласно максимальной взлетной массе, БПЛА можно разделить на 4 группы:

1. Легкие - взлетная масса меньше 20 килограмм;

2. Средние - взлетная масса от 20 до 200 килограмм;

3. Тяжелые - взлетная масса более 200 килограмм;

4. Сверхтяжелые - взлетная масса более 1500 килограмм.

БПЛА среднего класса являются наиболее распространенными и многочисленными. Наиболее распространенный способ спасения БПЛА такого класса - на парашюте - не обеспечивает должной безаварийности, увеличивает взлетную массу на вес парашюта и сопутствующих систем. Альтернативой ему является посадка «по-самолетному», или с пробегом. Последняя требует более высокой точности оценки пространственного положения, чем способна обеспечить типовая навигационная система БПЛА среднего класса без применения специальных мер. Типовая бортовая навигационная система комплексирует показания инерциального измерительного блока (ИНС), высотомеров, спутниковой навигационной системы (СНС). Точность позиционирования по ИНС ограничена физической природой измерения приращений углов, ведущей к накоплению ошибки. Систематическая ошибка СНС варьируется и может составлять 30 м, кроме того, зависит от качества спутникового сигнала. В связи с этим для обеспечения измерения навигационных данных при посадке применяются различные системы, однако все найденные в свободном доступе коммерческие применяемые системы также состоят в зависимости от радиоканала между БПЛА и наземным оборудованием. Одним из способов повышения автономности и помехозащищенности является установка СТЗ в качестве бортового оборудования, однако до сих пор задача оценки навигационных данных по видеоизображению камеры, установленной на БПЛА, не решена полностью в различных ее аспектах и остается актуальной.

На земле в районе импровизированной или стационарной ВПП располагается группа точечных маяков, требования к количеству, расположению и возможные практические реализации изложены ниже.

Задача измерения навигационных данных ограничивается для БПЛА, содержащих:

1. фронтальный датчик изображения стандартный или специализированный для достижения достаточного контраста маяков, положение которого в СК БПЛА известно в момент получения с него снимков;

2. отдельное вычислительное устройство или ресурсы в бортовой вычислительной системе для реализации оптического метода измерения навигационных данных;

3. бортовую навигационную систему (БНС), способную привести БПЛА в район ВПП и расположить БПЛА/фронтальную камеру так, чтобы маяки попали в ее область видимости, генерирующую априорную оценку навигационных данных. Рассматривается вопрос комплексирования измерений согласно разрабатываемому методу с вариантом БНС на основе расширенного фильтра Калмана. Типовой состав датчиков БНС:

1) инерциальный измерительный 3-осевой модуль (ИНС);

2) магнитометр;

3) высотометр.

На рисунке 1 приведена иллюстрация к способу посадки.

Дана последовательность изображений, получаемых с фронтальной камеры, закрепленной на борту БЛА. Все обозначения далее справедливы для определенного момента времени t. Положение и поворот в собственной системе координат БЛА зададим в однородных координатах виде матрицы RT_КАМ. Необходимо по каждому входному изображению I оценивать пространственное состояние БЛА по 6 степеням свободы , где за обозначим искомые координаты в системе координат, связанной с ВПП, а - углы крена, тангажа и рыскания в этой системе координат (вектор затем передается бортовой навигационной системе для корректировки траектории). Положение и поворот БЛА в системе координат ВПП обозначим за . N маяков расположены в плоскости земли вокруг ВПП (использовалось допущение о плоскостности земли) и имеют однородные координаты в этой плоскости , i=1…N.

Пусть N маяков расположены в плоскости земли вокруг ВПП (используется допущение о плоскостности земли) и имеют однородные координаты в этой плоскости , i=1…N, и имеется датчик изображения, осуществляющий проекцию F(S):ν→u из трехмерного пространства в дискретное пространство изображения u∈U.

Рассмотрим пример, когда ВПП оснащена тремя яркими световыми маяками зеленого, красного и синего цветов известными координатами V=(ν₁,ν₂,ν₃), при посадке цветная камера БПЛА видит все три маяка. В соответствии с некоторым алгоритмом Q входное изображение представляется в виде трех карт W₁, W₂, W₃, задающих эмпирическую функцию распределения вероятности по формуле (2) для каждого из маяков; разумеется, с точки зрения реализации необязательно фактически строить карты W_i для каждого маяка. Теперь цель - найти такие параметры , при которых эталонное распределение как функция от S в виде совокупности распределений по каждому маяку «совпадет» наилучшим образом (с точки зрения функции правдоподобия) с эмпирическим.

Суть разрабатываемого метода заключается в том, что отсутствует этап распознавания отдельных маяков на изображении, всегда связанный с применением некоторого порога. Вместо этого задача измерения навигационной информации ставится как задача максимизации функции правдоподобия между распределениями:

1) Эталонным распределением вероятности - геометрической модели маяков М, предсказывающей вероятность наличия i-маяка в пикселе и изображения в соответствии с текущей оценкой навигационного вектора состояния и некоторыми дополнительными параметрами :

2) Эмпирической функцией распределения для i-ого маяка, представленной в виде отображения W_i∈{W₁,…,W_N} входного изображения I, полученного в соответствии с некоторым алгоритмом Q оценки наличия проекции центра маяка в каждом пикселе по изображению:

Задача максимизации формулируется как

Здесь и далее знак «^» означает оцениваемые величины.

Есть смысл перейти к численно более устойчивой минимизации функции:

Переход от распознавания отдельных маяков к оценке вероятности их нахождения в каждой точке решает следующие задачи:

3) позволяет избавиться от необходимости выделения отдельных маяков, в частности, когда во входном изображении затруднено их алгоритмическое распознавание, например, на слишком большом расстоянии;

4) такой подход естественно ложится на модель, задающую распределение света вокруг маяков, выполненных в виде точечных источников излучения/света, на изображении (PSF - Point Spread Function).

Используется pinhole модель перспективной проекции с известными параметрами ƒ_x, ƒ_y, c_x, c_y - фокусные расстояния и координаты принципиальной точки по осям изображения соответственно. Согласно этой модели, точка в плоскости проекций камеры, т.е. на изображении, связана с 3-х мерной точкой сцены (мира) следующей формулой:

где (x,y,w)^T - точка на изображении в однородных координатах, (X,Y,Z)^T - 3-х мерная точка сцены.

При работе с реальными камерами невозможно пренебрегать искажениями изображения (дисторсией), вызванные геометрией линз и прочими неточностями. Однако в связи с тем, что, в зависимости от конкретного типа датчика, модель дисторсии может отличаться, она не включается непосредственно в модель проецирования точек сцены на изображения, а искажения устраняются на этапе предварительной обработки.

Эталонная модель M_i(u,S,θ) задает априорную вероятность расположения проекции i-ого маяка в точке u на плоскости проекций изображения I в зависимости от вектора состояния БПЛА S и некоторых дополнительных параметров θ

Пусть S - вектор состояния БПЛА (навигационные параметры). Матрицу положения и поворота БПЛА в однородной системе координат ВПП обозначим за RT_БЛА(S). Заданы также параметры камеры: RT_КАМ - положение и поворот датчика изображения в собственной системе координат БПЛА в однородных координатах; ƒ_x, ƒ_y, c_x, c_y - фокусные расстояния и координаты принципиальной точки соответственно.

Используется допущение о плоскостности земли в районе ВПП, координаты маяков в плоскости земли известны и обозначены за , i=1…N.

Тогда проекция F(ν_i) центра i-ого маяка на изображение выражается формулой

где RT - обозначение матрицы поворота-переноса в однородной системе координат. В случае, если S=(х,у,z,γ,ϑ,ψ), где х, у, z - координаты в трехмерной системе координат, связанной с ВПП, а γ, ϑ, ψ - углы крена, тангажа и рыскания в этой системе координат,

где

Далее распределение вероятности M_i(u,S,θ) есть смысл моделировать неким двумерным распределением с нулем в спроецированной точке u_i(S)=F(ν_i,S) и таким, чтобы оно было близко к форме эмпирического распределения W_i для единственного i-ого маяка в соответствии с алгоритмом Q:

Т.к. единственный отличительный признак точечных маяков - это некий эквивалент яркости, в зависимости от их физической реализации, то считается невозможным написать алгоритм Q, с высокой вероятностью способный назначать высокую оценку эмпирической вероятности пикселям, соответствующим истинному положению проекции каждого маяка, и низкую где бы то ни было еще. По сути дела, это означало бы создание алгоритма распознавания отдельных маяков при том, что они выглядят одинаково.

Для учета «выбросов» (англ. "outliers") эталонное распределение для каждого маяка можно представить как смесь распределений:

где ϕ(u) - моделируемое распределение выбросов по пикселям изображения, γ_i - неизвестный параметр, означающий распределение эмпирических данных по принадлежности к одному из этих компонентов. В работе успешно применяется «псевдо» равномерное распределение, ограниченное некоторой (большой) площадью а²:

где а - константа.

В данной работе также для учета выбросов применяется «псевдо» равномерное распределение.

В описанную концепцию хорошо ложится эталонное распределение вероятности M_i(u,S,θ), при котором оно повторяет распределение света от точечного источника по пикселям изображения (PSF - Point Spread Function) за вычетом фона, которое является вероятностным распределением попадания квантов света на матрицу. Ключевым моментом этой модели является отсутствие какого-либо преобразования на этапе алгоритма Q, не удовлетворяющего условию

где L - фоновое изображение, если бы маяки были выключены, α - константа.

В этом случае алгоритм Q направлен на определение W₁,W₂,…,W_n в соответствии с формулой (13). При этом уровень фона L как может быть определен внутри алгоритма Q, так и может быть включен в модель M_i(u,S,θ) в качестве выбросов, при этом первое предпочтительнее с точки зрения быстродействия.

Для примера возьмем в качестве PSF распределение Моффата (Moffat). Оно часто используется в астрономии в связи с тем, что хорошо описывает рассеяние света от точечных источников в атмосфере, и при этом задается простой аналитической формулой. Учтем, что освещенность поверхности матрицы камеры точечным источником падает пропорционально квадрату расстояния до него по закону Алларда, а пиксели матрицы насыщаются при достижении определенной освещенности, зависящей от экспозиции. Для упрощения будем считать, что, даже когда ореолы соседствующих на изображении маяков накладываются, относящиеся к этой области пиксели не испытают существенного перенасыщения. В соответствии с этим распределением, формулу распределения значений яркости пикселей изображения светом от маяков (если возможные значения яркости привести к диапазону [0..1]) можно записать в виде

где Δu=u-F(ν_i,S) - смещение в пикселях относительно центра; d_i(S) - расстояние от камеры до i-ого маяка; J_i - физическая величина - интенсивность маяка; с - параметр для перехода к единицам яркости, позволяющий учесть экспозицию камеры; α,β - заранее подобранные параметры распределения; - яркость фона в точке изображения u. Параметры с,α,β для упрощения можно считать известными, хотя они могут меняться, например, с погодными условиями.

Приведенная модель не очень удобна для дальнейшей оптимизации ее параметров, и при этом степень адекватности описания ей распределения света от маяков по пикселям изображения, например, для TUB камеры, заслуживает отдельного исследования.

Одна из наиболее удобных для оптимизации моделей - модель с изотропным Гауссовым шумом, т.е. когда вероятность истинного положения проекции маяка на изображение распределяется вокруг предсказанной проекции по закону Гаусса:

Она удобна в вычислительном плане тем, что при определенных условиях позволяет перейти к методу наименьших квадратов)

Таким образом, модель с нормальным распределением отклонений является удобной в вычислительном плане аппроксимацией, для которой требуется выявление эмпирической зависимости между единственным параметром этой модели σ и фактическим распределением на W_i, являющимся функцией от S,θ.

При использовании такой универсальной модели алгоритм «распознавания» маяков Q может быть любым, нацеленным на наиболее качественную эмпирическую оценку вероятности наличия проекции центра маяка на каждый пиксель W. В таком случае он может располагать некоторой собственной моделью каких-либо характеристик изображения маяка.

Ограничением для разрабатываемого метода измерения вектора навигационных параметров является наличие в БНС некоей разновидности расширенного фильтра Калмана, в каждый дискретный момент времени располагающего априорной оценкой вектора состояния S и матрицей ковариации этой оценки Σ.

Оценка S используется как начальное приближение S₀ для оптимизации функции правдоподобия по параметрам. Ковариация Σ включается в процесс оптимизации в виде ограничений, соответствующих попаданию оцениваемого вектора БПЛА в интервал вокруг предсказанного положения с доверительной вероятностью η:

Это ограничение вводится в логарифмическую функцию правдоподобия в виде штрафного слагаемого С

Это же касается не только вектора , но таким же образом ограничивается и обрабатываемая область обработки изображения. Для каждого i-ого маяка по следующим формулам может быть вычислена двумерная матрица ковариации E_i:

где J_i - Якобиан проекции центра маяка по вектору состояния.

Матрица ковариации ограничивает множество пикселей возможного расположения проекций центров маяков в соответствии с той же доверительной вероятностью η вокруг предсказанных центров маяков по расстоянию Махаланобиса

В то же время требуемая фильтру Калмана ковариация измерения может быть вычислена следующим образом. Известно, что обратная матрица Гессе логарифмической функции правдоподобия в точке максимума есть ни что иное, как асимптотическая матрица ковариации

где р - количество элементов в векторе .

Таким образом, ковариационная матрица может быть передана фильтру Калмана БНС вместе с оценкой вектора для более адекватного учета измеряемой в соответствии с разрабатываемым методом поправки.

Выделены следующие аналоги.

Методы получения навигационных данных для автоматической посадки БПЛА

1. GPS/ГЛОНАСС.

1.1. Бортовой GPS/ГЛОНАСС – приемник.

Бортовая или наземная ЭВМ сравнивает GPS-координаты БПЛА с хранимыми в памяти координатами ВВП и на основе этого корректирует полетные параметры БПЛА.

Примеры: Стерх БМ (Беларусь)

1.2. Дифференциальный GPS.

Наземная станция, так же, как и БПЛА, определяет свои координаты по GPS, и, получая, таким образом, погрешность относительно заранее известных точных координат, по защищенному радиоканалу отправляет ее БПЛА.

Примеры: HERMES 450S (Израиль), система JPALS, подходящая для посадка на корабли (США).

2. Радиомаяки.

2.1. Бортовой радиомаяк и наземный пеленгатор.

На борту БПЛА располагается радиомаяк, отвечающий на запросы наземной станции-пеленгатора. Наземная ЭВМ по показаниям пеленгатора определяет координаты БПЛА, сравнивает с координатами ВПП и по радиоканалу автоматически сажает БПЛА.

Примеры: Sierra Nevada Corporation's (SNC) Tactical Automatic Landing System (TALS).

2.2. Наземные радиомаяки и бортовой пеленгатор.

Примеры - ILS, MLS, использующиеся в международных аэропортах.

3. Техническое зрение.

3.1. Распознавание посадочной полосы (площадки), дополненной ИК/УФ-маяками и т.д., бортовой ЭВМ.

3.1.1. Патент RU 2347240.

Предполагает установку трех лазерных ИК-маяков в точках с известными координатами, прием фотокамерой излучения маяков и вычисления собственных в бортовой ЭВМ летательного аппарата по известному расположению маяков в кадре.

3.1.2. Патент RU 2182313 С2.

Предполагает установку сложной системы импульсных ИК-УФ-светомаяков, синхронизированных с имеющимся светотехническим оборудованием аэропорта (для возможности посадки в плохих погодных условиях). Предполагается также использование GPS/Глонасс. Таким образом, патент описывает комплексную систему автоматической посадки, способной видеть ВПП на расстоянии более 20 км.

3.1.3. Патент РФ №2300486.

Предполагает установку пассивных маркеров, отражающих свет в ИК и видимом диапазоне, на посадочную площадку (вертолета). Освещение поступает с фар, установленных на борту БПЛА. Система предназначена для мануальной посадки БПЛА, однако, вероятно, может быть расширена и для автоматической.

3.1.4. GuiliXu, Yong Zhang, ShengyuJi, Yuehua Cheng, YupengTian. «Research on computer vision-based for UAV autonomous landing on a ship».

Описывается способ определения навигационных параметров БПЛА с помощью распознавания крупного Т-образного маркера, полностью подсвеченного в ИК. Предполагается возможность установки такого маркера на корабль.

3.1.5. Schiebel Camcopter S-100 - система SADA для вертолетов (Точность 0.3 м, Австрия, используется и в России), применяется также GPS/ГЛОНАСС.

3.2. Распознавание посадочной полосы бортовой ЭВМ в оптическом диапазоне без применения доп. наземных источников света.

3.2.1. Paul Williams, Michael Crump. INTELLIGENT LANDING SYSTEM FOR LANDING UAVS AT UNSURVEYED AIRFIELDS.

Используется поворотная гиростабилизированная платформа с возможностью зума, и неописанный алгоритм распознавания элементов ВПП. Описанный метод позволяет полностью автоматизировать посадку с момента появления необходимости посадки (самостоятельно выполняет поиск подходящей ВПП) и до момента остановки на ВПП.

3.2.2. Jiajia Shang, Zhongke Shi. Vision-based Runway Recognition for UAV Autonomous Landing.

С помощью компьютерного зрения на достаточно близком расстоянии распознается разметка краев ВПП, определяются все 6 степеней свободы ЛА.

3.2.3. Патент №RU 2466355. Способ получения навигационной информации для автоматической посадки беспилотных летательных аппаратов (БЛА).

3.2.4. Полуавтоматическая посадка - оператор на передаваемом ему видеоизображении отмечает точку начала ВПП и точку оси ВПП, после чего эти точки находится автоматически в каждом кадре с помощью сравнения их окрестностей в каждом кадре с эталоном. Определяются все степени свободы ЛА, кроме высоты.

3.3. Определение координат БПЛА с помощью наземной станции с одной или нескольких камер.

3.3.1. Weiwei Kong, Daibing Zhang, Xun Wang, Zhiwen Xian and Jianwei Zhang. Autonomous Landing of an UAV with a Ground-Based Actuated Infrared Stereo Vision System.

Координаты БПЛА относительно наземной станции определяются с помощью инфракрасной стереокамеры на поворотной платформе, следящей за БПЛА, и передаются по радиоканалу БПЛА. Детектирование БПЛА производится с помощью сопоставления контуров, сегментации и т.д. - без применения маяков на БПЛА.

3.3.2. Carol Martinez, Ivan F. Mondragon, Miguel A., Olivares-Mendez, Pascual Campoy. On-board and Ground Visual Pose Estimation Techniques for UAV Control.

Координаты БПЛА и его ориентация определяются с помощью детектирования специальных разноцветных маркеров, установленных на БПЛА, с трех различных камер. Очевидно, цветные маркеры могут быть заменены на ИК.

Выполнен сравнительный анализ предлагаемого подхода с известными аналогами, в результате которого выявлены следующие его преимущества:

- отсутствие радиоканала, связывающего БВС и наземную инфраструктуру - повышает незаметность БВС и устраняет возможные временные задержки в системе;

- единообразие маяков упрощает их изготовление и развертывание;

- точечные ориентиры могут быть реализованы как точечные источники излучения, которое в любом случае необходимо для функционирования в ночных условиях.

Функционирование устройства предполагает эффективное взаимодействие между собой различных внутренних и внешних, аппаратных и программных структурных компонентов.

Конструктивная простота обусловлена тем, что комплектация устройства производится с использованием большинства известных блоков:

1. Видеокамера с узкополосным инфракрасным фильтром

2. Модуль обнаружения инфракрасных маяков на кадрах видеокамеры

3. Модуль определения относительной ориентации

4. Модуль связи с инерциальной навигационной системой

5. Модуль моделирования светового распределения маяков

6. Инфракрасные маяки.

Схема устройства представлена на Рисунке 2 (см. Рисунок 2).

Устройство с помощью видеокамеры с узкополосным инфракрасным фильтром (1) фиксирует на кадрах видеопотока излучение от инфракрасных маяков (6) и с помощью модуля обнаружения инфракрасных маяков на кадрах видеокамеры (2) с помощью известных моделей светового распределения маяков от модуля (5) определяет позиции их изображений на кадрах видеопотока от видеокамеры (1), далее модуль определения относительной ориентации БВС (3) вычисляет относительную ориентацию БВС и передает ее модулю связи с инерциальной навигационной системой (4), который в свою очередь позволяет сформировать команды управления полетом БВС.

Технический результат предлагаемого изобретения состоит в реализации его назначения - посадке беспилотного воздушного судна самолетного типа на взлетно-посадочную полосу с использованием оптических приборов различного диапазона.

Поставленная задача и требуемый технический результат достигаются тем, что устройство содержит инфракрасные маяки, камеры с узкополосным инфракрасным фильтром, вычислительный блок и блок интеграции с инерциальной навигационной системой и системой управления полетом беспилотного воздушного судна.

Формула изобретения

Способ посадки беспилотного воздушного судна самолетного типа на взлетно-посадочную полосу с использованием оптических приборов различного диапазона, реализованный через устройство посадки беспилотного воздушного судна на взлетно-посадочную полосу, поддерживающее инфракрасные маяки, отличающийся тем, что используют систему технического зрения на борту летательного аппарата, представляющую собой фронтальную видеокамеру с узкополосным инфракрасным фильтром, получающую изображения маяков, а также вычислительный модуль, оценивающий вероятность положения маяков, и модуль интеграции с инерциальной навигационной системой и системой управления полетом беспилотного воздушного судна, при этом не используют радиоканал, связывающий воздушное судно и наземную инфраструктуру.