РОССИЙСКАЯ ФЕДЕРАЦИЯ ФЕДЕРАЛЬНАЯ СЛУЖБА ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ |
(19)
RU
(11)
2 758 881
(13)
C1 | |||||||
| ||||||||
| Статус: | действует (последнее изменение статуса: 10.11.2021) |
| Пошлина: | Установленный срок для уплаты пошлины за 3 год: с 31.12.2021 по 30.12.2022. При уплате пошлины за 3 год в дополнительный 6-месячный срок с 31.12.2022 по 30.06.2023 размер пошлины увеличивается на 50%. |
|
(21)(22) Заявка: 2020143927, 30.12.2020 (24) Дата начала отсчета срока действия патента: Дата регистрации: Приоритет(ы): (22) Дата подачи заявки: 30.12.2020 (45) Опубликовано: 02.11.2021 Бюл. № 31 (56) Список документов, цитированных в отчете о поиске: CN 108168706 A, 2018.06.15. GB 2536043 A, 2016.09.07. JAN FARLIK et al. Multispectral Detection of Commercial Unmanned Aerial Vehicles, Sensors (Basel), 2019 April 19. AMANDA BERG. Detection and Tracking in Thermal Infrared Imagery, Linkoping University, Sweden, 2016. И.В. КОРЫТЦЕВ. Обработка сигналов при пеленгации и определении дальности до малоразмерных БПЛА в оптическом и инфракрасном диапазонах, Радiотехнiка. 2020, Вип. 202. YU ZHANG et al. Design and Training of Deep CNN-Based Fast Detector in Infrared Small Unmanned Aerial Vehicle Surveillance System, IEEE Access (Volume: 7), 16 September 2019. YE WANG et al. Towards Visible and Thermal Drone Monitoring with Convolutional Neural Networks, SIP (2019), vol.8. RU 2559332 C1, 2015.08.10. KR 20180135146 A, 2018.12.20. Адрес для переписки: |
(72) Автор(ы): (73) Патентообладатель(и): |
(54) ТЕПЛОВИЗИОННЫЙ СПОСОБ ОБНАРУЖЕНИЯ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА ТИПА "МУЛЬТИКОПТЕР"
(57) Реферат:
Изобретение относится к области систем безопасности, предназначенных для обнаружения и распознавания малогабаритных беспилотных летательных аппаратов (МБЛА), а именно МБЛА типа «мультикоптер», с целью предотвращения несанкционированного доступа в контролируемую зону, и может быть использовано в системах противодействия беспилотным летальным аппаратам (БПЛА), в частности, военного назначения. Техническим результатом является повышение полноты обнаруживаемых МБЛА типа «мультикоптер», функционирующих в контролируемой зоне в ночное время. Сущность изобретения заключается в том, что к существующим системам противодействия БПЛА добавляется совокупность тепловизионных камер (тепловизоров), установленных на границе контролируемой зоны, которые предназначены для получения теплового изображения контролируемого воздушного пространства. Способ обнаружения МБЛА типа «мультикоптер» основан на следующих утверждениях: моторы «мультикоптеров» имеют определенную температуру нагрева, значение которой зависит от мощности электродвигателя, режимов работы «мультикоптеров», например набор высоты, полет, зависание; температура моторов «мультикоптеров» инвариантна к температуре окружающей среды и, следовательно, на изображении, полученном с тепловизора, тепловые точечные области моторов видны на атмосферном фоне контролируемой зоны; конструктивно-взаимное расположение моторов МБЛА типа «мультикоптер», в зависимости от числа моторов, образуют правильные геометрические фигуры, такие как квадрат, гексагон и октагон, в проекции на плоскость экрана тепловизионной камеры. 7 ил.
Изобретение относится к области систем безопасности, предназначенных для обнаружения и распознавания малогабаритных беспилотных летательных аппаратов (МБЛА), а именно МБЛА типа «мультикоптер» (на фиг. 1 изображен «мультикоптер»), с целью предотвращения несанкционированного доступа в контролируемую зону и может быть использовано в системах противодействия беспилотным летальным аппаратам (БПЛА), в частности, военного назначения.
Известны различные способы обнаружения и распознавания малогабаритных беспилотных летательных аппаратов - оптические, акустические, радиолокационные или перехват канала управления (передачи данных). Использование средств обнаружения и распознавания МБЛА имеет ряд недостатков, связанных, в основном, с малыми размерами малогабаритных БПЛА, в частности, типа «мультикоптер». Наиболее близкими к заявленному изобретению являются способы обнаружения МБЛА, основанные на использовании оптико-электронных средств.
Известен способ обнаружения БПЛА комплекса борьбы с беспилотными летательными аппаратами [Шишков С.В., Устинов Е.М., Барсуков В.А., и др. Комплекс борьбы с беспилотными летательными аппаратами. - ФИПС. Патент на изобретение RU 2700107 C1, 12.09.2019], в котором кадры видеопоследовательности одновременно регистрируются тремя и более идентичными видеосистемами (датчиками) на основе многоэлементных высокоскоростных фотоприемников. Полученные цифровые изображения анализируются с целью поиска фрагментов БПЛА схожих с опорными изображениями, что позволяет определять достоверные трехмерные объемные изображения БПЛА в контролируемом регионе. Недостатком данного способа является то, что использование оптических датчиков затруднено или полностью невозможно в темное время суток.
Для устранения неработоспособности систем обнаружения БПЛА в ночное время, возможно применение средств, работающих в инфракрасном диапазоне волн [Жендарев М.В., Митрофанов Д.Г., Якименко И.В., и др. Способ обнаружения точечных тепловых объектов на маскирующем атмосферном фоне. - ФИПС. Патент на изобретение RU 2480780 C1, 27.04.2013]. В таком случае в ночное время обнаруживают одиночные точечные тепловые объекты в атмосферном фоне с использованием пространственно-оконной обработки теплового изображения с целью исключения излучений местных предметов и определения угловых координат обнаруживаемых объектов, в частности БПЛА. Недостатком данного способа является его неработоспособность при наличии групповых целей.
Наиболее близким аналогом (прототипом) предложенного изобретения является способ обнаружения и определения координат малогабаритных беспилотных летательных аппаратов [Шишков С.В., Годунов А.И. Искоркин Д.В., и др. Способ пассивного обнаружения и определения координат малогабаритных беспилотных летательных аппаратов. - ФИПС. Патент на изобретение RU 2574224 C1, 10.02.2016] с использованием совокупности телевизионных датчиков. Обнаружение МБЛА происходит на основе сравнения кадров видеопоследовательности и определения геометрических и цветовых изменений сформированных изображений основным телевизионным датчиком, выбранным автоматически. Определение дальности до МБЛА осуществляется за счет выбора из совокупности телевизионных датчиков стереопары (базы) устройства. В приведенном способе обнаружение МБЛА невозможно в ночное время.
Таким образом, для решения существующей проблемы предлагается тепловизионный способ обнаружения беспилотного летального аппарата типа «мультикоптер», при котором вводится совокупность тепловизионных камер (датчиков) для получения изображения контролируемого пространства в инфракрасном диапазон волн.
Сущность изобретения заключается в том, что к существующим системам противодействия БПЛА добавляется совокупность тепловизионных камер (тепловизоров), установленных на границе контролируемой зоны, которые предназначены для получения теплового изображения контролируемого воздушного пространства. Предложенный способ обнаружения МБЛА типа «мультикоптер» основан на следующих утверждениях:
- моторы «мультикоптеров» имеют определенную температуру нагрева, значение которой зависит от мощности электродвигателя, режимов работы «мультикоптеров», например, набор высоты, полет, зависание (на фиг. 2 представлена таблица испытаний двигателей, используемых в «мультикоптерах». Электронный ресурс: https://rccopter.ru/product/t-motor-ul1-kv90. Дата обращения: 10.09.2020 г.);
- температура моторов «мультикоптеров» инвариантна к температуре окружающей среды и, следовательно, на изображении, полученном с тепловизора, тепловые точечные области моторов видны на атмосферном фоне контролируемой зоны (на фиг. 1 представлено тепловое изображение контрастных областей моторов «мультикоптера» на фоне окружающей атмосферы);
- конструктивно-взаимное расположение моторов МБЛА типа «мультикоптер», в зависимости от числа моторов, образуют правильные геометрические фигуры, такие, как квадрат, гексагон и октагон в проекции на плоскость экрана тепловизионной камеры (фиг. 4-6).
Достигаемым техническим результатом изобретения является повышение полноты обнаруживаемых малогабаритных беспилотных летательных аппаратов типа «мультикоптер», функционирующих в контролируемой зоне в ночное время.
Для достижения технического результата изобретения предлагается в указанном способе-прототипе использовать совокупность тепловизионных датчиков, которые получают изображение атмосферы в инфракрасном диапазоне волн. Полученное тепловое изображение поступает в модуль цифровой обработки изображений, в котором используется детектор Виолы-Джонса. Такой детектор используется [Viola P. and Jones M.J., «Robust real-time face detection», International Journal of Computer Vision, vol. 57, no. 2, 2004., pp. 137-154.] для устранения шумов и выделения контрастных фрагментов -точечных тепловых областей моторов «мультикоптера» на фоне атмосферы в реальном масштабе времени. После обработки теплового изображения, выявленные контрастные фрагменты поступают в модуль определения геометрической конфигурации точечных областей, с целью оценки их взаимного расположения и определения принадлежности совокупности таких точек к классу МБЛА типа «мультикоптер». В случае, если МБЛА является квадракоптером (конструктивно квадракоптер состоит из 4 моторов, расположенных в вершинах квадрата), то проекция квадракоптера на плоскость камеры (фокус камеры), является параллелограммом. Если выполняется данное условие, то такая совокупность точек объекта (тепловых областей) относятся к БПЛА типа «мультикоптер», в данном случае объект является квадракоптером.
Справедливость данного утверждения подтверждается следующей оценкой. Пусть получена Pl, Р2, Р3, Р4 совокупность точек объекта (точечных тепловых областей моторов квадракоптера) в прямоугольном координатном пространстве XYZ, где плоскость XY совпадает с плоскостью экрана камеры ОАВС, точки на изображении 
- это точки пересечения прямой, соединяющей центр фокуса Рс (фиг. 3). Эти точки имеют следующие координаты:
где хс, ус - координаты центра камеры; f - фокусное расстояние камеры;
xi, yi - координаты точки на изображении;
X, Y - координаты точки в пространстве;
d - расстояние от плоскости камеры до точки.
Для оценки, образует ли проекция точек объекта
Среди вышеперечисленных координат нам известны следующие: координаты центра камеры Рс и ее фокусное расстояние f, координаты точек 
на изображении. Также известны расстояния от точек объекта P1, Р2, Р3, P4 до плоскости камеры, которые вычислены через расстояние (величина базы) стереопары тепловизионных датчиков. Неизвестными остаются только координаты X и Y точек P1, Р2, Р3, P4 объекта. Их можно найти через условие, что точки P1, Р2, Р3, P4 объекта лежат на прямых, соединяющих точку фокуса Рс и точки изображений 
Через координаты этих точек найдем уравнение этой прямой. Также, зная координату Z точек объекта, а именно расстояние от этой точки до плоскости камеры, вычислим остальные координаты этой точки. Общее уравнение прямой для трехмерного пространства, проходящей через две произвольные точки находится через выражение:
Подставив значения точки фокуса Рс = (хс, ус, -f) и точки изображения 
в формулу (2), получим уравнение прямой:
Таким образом, подставив известные координаты точек на изображении и центра фокуса, получим координаты точек объекта на плоскости:
Используя выражение (4) и зная расстояние от плоскости камеры до точек объекта, то координаты точек объекта в пространстве будут иметь вид:
Используя формулу (5), составим выражение вектора 
[Ильин С.А., Позняк Э.Г. Аналитическая геометрия: Учеб. Для вузов. - 7-е изд., стер. - М., 2004. - 224 с.] для произвольной пары точек Р1 и Р2 
выбранных из всего множества точек обнаруженных тепловых объектов в пространстве:
С учетом того, что если наблюдаемый объект предположительно является «мультикоптером» наблюдаемый на расстоянии во много раз превышающем сам размер «мультикоптера», тогда расстояния до точек тепловых объектов d1 и d2 различаются не значительно, т.е. dx ≈ d2 ≈ d, то выражение (6) для нахождения вектора 
принимает вид:
где d - усредненное расстояние от плоскости камеры до каждой из точек тепловых областей объекта.
Проекция вектора 
на плоскость экрана камеры ОАВС образует вектор 
выраженный через координаты точек 
Очевидно, что координаты вектора 
выражаются через координаты вектора 
через множитель 
Это означает, вектора 
и 
коллинеарные.
Очевидно, что совокупности точек тепловых областей 
имеют проекции точек 
на плоскость экрана камеры. Отсюда следует, что из всего множества точек проекции 
возможно сформировать пары коллинеарных векторов, которые образуют стороны параллелограмма, и, следовательно, геометрическая совокупность точек на плоскости изображения, отображаемая в виде параллелограмма является проекцией геометрической фигуры -квадрата, вершины которого образованы точками 
тепловых областей моторов квадракоптера.
Для поиска координат коллинеарных векторов, потенциально относящихся к геометрической конфигурации параллелограмма, потребуется перебрать следующее количество пар сочетаний координат точек проекций 
на плоскость экрана камеры:
где n - количество точек тепловых областей выявленных на атмосферном фоне контролируемой зоны;
m - количество точек, которые образуют пары коллинеарных векторов.
В случае поиска двух коллинеарных векторов m=4. Для уменьшения количества вычислительных операций по поиску пар коллинеарных векторов можно не учитывать направления векторов на плоскости, что сократит вычислительные затраты в 3 раза. Таким образом, выражение принимает вид:
Найденные пары векторов проверяют на коллинеарность. Для этого вычисляют угол между найденными векторами:
где cos(а) - угол между первым и вторым вектором;
х1, у1 - координаты первого найденного вектора;
x2,y2 - координаты второго найденного вектора.
Для коллинеарных векторов косинус угла будет равен cos(а)=1 (для соноправленных векторов). Следовательно, признаком параллелограмма, образуемого совокупностью точек 
будут являться совокупности пар коллинеарных векторов, образующих стороны параллелограмма (фиг. 4):
где 
- угол между векторами 
и 
;
- угол между векторами 
и 
;
- угол между векторами 
и 
, которые не являются коллинеарными.
На практике, в процессе определения координат вносится погрешность 
измерения координат центров тепловых точечных областей объектов, которая зависит от множества факторов. К ним можно отнести следующие источники погрешностей:
- низкая разрешающая способность матрицы тепловизионного датчика;
- низкая чувствительность элементов матрицы тепловизионного датчика;
- низкая точность измерения расстояний до тепловых объектов ввиду малой базы системы обнаружения и удаленности объектов;
- потери информации в процессе сжатия цифрового изображения;
- ухудшение тепловых характеристик объекта обнаружения в случае использования средств маскировки теплового излучения и др.
С учетом погрешности 
измерения координат центров тепловых областей, выражение (11) приобретает следующий вид:
где - погрешность измерения координат точек.
Если в зоне контроля атмосферного пространства функционирует МБЛА типа «мультикоптер» с 6 или 8 моторами, то отличие проекций таких МБЛА заключается в том, что они образуют проекции на плоскость экрана камеры в виде фигур: гексагон (при конструкции «мультикоптера» из 6 двигателей, см. фиг. 5) или октагон (при конструкции «мультикоптера» из 8 двигателей, см. фиг. 6). В такой ситуации использование признака коллинеарных пар векторов, образующих стороны параллелограмма, будет недостаточно, так как появляется избыточность выявления пар коллинеарных векторов, которые могут определяться как «квадракоптер», например, появление пар векторов 
и 
а также векторы, имеющие противоположные им направления (на фиг. 7 избыточные вектора показаны пунктиром).
В таком случае предлагается расширение признака за счет применения совокупности векторов 
и 
исходящих из противоположных вершин А и D проекции гексагона ABCDEF. Тогда коллинеарными парами векторов будут являться следующие пары: 
и 
Следовательно, признаком гексагона ABCDEF, будут являться следующие совокупности пар коллинеарных векторов, но имеющих противоположные направления (фиг. 7):
где 
- угол между векторами 
и 
;
- угол между векторами 
и 
Выражение (13) подходит и для других пар противоположных вершин гексагона ABCDEF, например, вершины В и Е. Тогда требуется проверка коллинеарности следующих пар векторов: 
и 
С учетом погрешности 
измерения координат центров тепловых областей, выражение (13) приобретает следующий вид:
Для исследовании проекции октагона, используются те же выражения (14) и (15), что и для векторов, образуемых точками проекции гексагона.
Таким образом, предлагаемый тепловизионный способ обнаружения беспилотного летального аппарата типа «мультикоптер» обладает рядом существенных преимуществ перед прототипом, которые позволяют повысить полноту класса обнаруживаемых малогабаритных летательных аппаратов типа «мультикоптер», а его использование в существующих системах противодействия БПЛА позволит расширить их возможности по контролю атмосферного пространства в ночных условиях.
Формула изобретения
Способ пассивного обнаружения и определения координат малогабаритных беспилотных летательных аппаратов (МБЛА), заключающийся в селекции объекта на удаленном атмосферном фоне, отличающийся тем, что дополнительно используют в пространственно разнесенных точках приема тепловизионные камеры (датчики), которые одновременно фиксируют и формируют тепловые изображения, анализ которых осуществляется в режиме реального времени с применением детектора Виолы-Джонса, на тепловых изображениях выделяют множество точечных тепловых областей, образуемых в результате инвариантности температуры работы двигателей к окружающему атмосферному фону, исследуют на предмет формирования в плоскости экрана камеры геометрических фигур (параллелограмма, гексагона и октагона) - проекций взаимного расположения в пространстве этих тепловых областей, создаваемых высокой температурой моторов МБЛА типа «мультикоптер», что позволяет определить взаимное расположение тепловых областей, относящихся к МБЛА типа «мультикоптер», в конце сравнения конфигураций принимают решение о принадлежности объектов к классу МБЛА типа «мультикоптер» или к ложному срабатыванию.
