РОССИЙСКАЯ ФЕДЕРАЦИЯ ФЕДЕРАЛЬНАЯ СЛУЖБА ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ	(19) RU (11) 2 748 763 (13) C1
	(51) МПК G06T 7/12 (2017.01) G06K 9/62 (2006.01) (52) СПК G06T 7/12 (2020.08) F41G 3/00 (2020.08) G06K 9/62 (2020.08)

Статус:	действует (последнее изменение статуса: 02.07.2021)
Пошлина:	Установленный срок для уплаты пошлины за 3 год: с 01.09.2021 по 31.08.2022. При уплате пошлины за 3 год в дополнительный 6-месячный срок с 01.09.2022 по 28.02.2023 размер пошлины увеличивается на 50%.

(21)(22) Заявка: 2020128891, 31.08.2020 (24) Дата начала отсчета срока действия патента: 31.08.2020 Дата регистрации: 31.05.2021 Приоритет(ы): (22) Дата подачи заявки: 31.08.2020 (45) Опубликовано: 31.05.2021 Бюл. № 16 (56) Список документов, цитированных в отчете о поиске: RU 2697939 C1 - 2019.08.21. RU 2515106 C2 - 2014.05.10. RU 2712367 C2 - 2020.01.28. RU 2173881 C2 - 2001.09.20. US 9121669 B1 - 2015.09.01. БАБИЧЕВ В.И. И ДР., Методика проектирования аппаратуры наведения, целеуказания и стабилизации в составе беспилотного летательного аппарата, Известия Тульского государственного университета. Технические науки, Номер: 11-1, 2012. Адрес для переписки: 141100, Московская обл., г. Щелково, ул. Заречная, 8, корп. 1, кв. 195, Лупанчук Владимир Юрьевич

(72) Автор(ы): Лупанчук Владимир Юрьевич (RU), Чаровский Максим Александрович (RU), Сергеев Юрий Алексеевич (RU), Чаровская Екатерина Александровна (RU), Нужненко Антон Сергеевич (RU), Изосимов Артем Васильевич (RU) (73) Патентообладатель(и): Лупанчук Владимир Юрьевич (RU)

(54) СПОСОБ ОБНАРУЖЕНИЯ И АВТОСОПРОВОЖДЕНИЯ ОБЪЕКТОВ ЦЕЛЕУКАЗАНИЯ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМОЙ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА

Изобретение относится к области цифровой обработки изображений, в частности к области обнаружения на изображениях, полученных от оптико-электронных систем, установленных в качестве полезной нагрузки на беспилотные летательные аппараты специального назначения, объектов целеуказания и их автосопровождение.

Основные стадии цифровой обработки изображений направлены на повышение качества изобразительных свойств, формируемых для практического применения в конкретной области:

восстановление изображений;

математическая морфология изображений;

сегментация изображений;

представление и описание - преобразование данных в форму, пригодную для компьютерной обработки: представление в виде границ для описания внешних характеристик формы областей, представление в виде областей для описания внутренних характеристик;

распознавание и др.

Одна из задач обработки данных, полученных от изображений, направлена на обнаружение объектов целеуказания и слежение за ними. Наличие цифрового шума или других видов искажений изображения ухудшают результат сравнения и автосопровождения объектов целеуказания. Шумы или искажения на изображениях возникают по следующим причинам:

дефекты (примеси и др.) потенциального барьера вызывают утечку заряда, сгенерированного за время экспозиции (в виде темных точек на светлом фоне);

темновой ток - является вредным следствием термоэлектронной эмиссии и возникает в сенсоре при подаче потенциала на электрод. Основная причина возникновения темнового тока - это примеси в кремниевой пластине или повреждение кристаллической решетки. На темновой ток оказывает влияние температура элементов камеры и электромагнитные наводки;

шум, возникающий вследствие стохастической природы взаимодействия фотонов света с атомами материала фотодиодов сенсора;

наличие дефектных пикселей, которые возникают при производстве фотосенсоров (несовершенство технологии);

выдержка, во время экспонирования активная матрица нагревается, тепло передается электронам, которые освобождаются и объединяются со свободными электронами, что приводит к появлению шумов темнового тока в форме видимых шумов;

внешние помехи.

Известен способ позиционирования беспилотного летательного аппарата (БПЛА) в автономном режиме (RU №2722599 С1, 2020 г.), заключающийся в том, что непрерывно определяют текущие координаты информационно-измерительными устройствами малоточной бесплатформенной инерциальной навигационной системой (БИНС) БПЛА, проводят периодическую коррекцию текущего положения по сигналам спутниковой навигации (СНС), осуществляют проверку данных СНС на достоверность, в автоматическом режиме фиксируют области или объекты наблюдения по информации оптико-электронной системы, формируют коррекционные поправки для текущих координат БПЛА, отличающийся тем, что на этапе предпусковой подготовки рассчитывают период формирования областей коррекции данных бесплатформенной инерциальной системы, в процессе полета производят обработку, геопространственную привязку и сохраняют изображения на борту БПЛА, формируют исходные данные: координаты точки старта, координаты точки начала маневра по развороту, координаты геометрических центров областей коррекции, максимальную высоту полета, минимальное количество общих точек маршрута, для навигации определяют степень сходства текущего изображения с этанолом, производят захват и автосопровождение идентифицированного объекта, формируют сигнал коррекции для БИНС относительно текущих координат, производят определение новых координат, повторяют процесс анализа сходства и принятия решения для каждого последующего кадра.

Известный способ предназначен для коррекции малоточной бесплатформенной инерциальной навигационной системы автономного беспилотного летательного аппарата малой дальности и ближнего радиуса действия с использованием интеллектуальной системы геопространственной информации, позволяющей проводить коррекцию бесплатформенной инерциальной навигационной системы в отсутствии заблаговременно подготовленных эталонных изображений при полном или частичном отсутствии спутниковых сигналов от спутниковых навигационных систем с учетом продолжительности времени, затрачиваемого на сравнение эталонных изображений с текущими.

Недостатками данного способа являются то, что в случае неудовлетворительного результата оценки сходства текущего изображения с эталонным при снижении порогового уровня особых точек (дескрипторов) осуществляется изменение масштаба и/или поворот изображения, переключение спектрального диапазона с видимого на инфракрасный или наоборот, при этом не рассматривают: аномальные условия, связанные с периодическими искажениями изображений (периодический шум, смазы, засветки, размытости и др.); одновременное комплексирование изображений видимого и инфракрасного диапазонов; минимальное восстановление локальных участков изображения.

Наиболее близким по технической сущности к заявленному изобретению является способ селекции наземных и воздушных объектов и устройство для его осуществления (RU №2173881 С2, 2001 г.), характеризующийся тем, что формируют видеоизображение участка земной поверхности, в пределах которого находится селектируемый объект, видеоизображение преобразуют в аналоговый видеосигнал, который подвергают дискретизации по пространственным координатам, усилению и смещению и преобразуют в цифровую форму, запоминают цифровое изображение в течение длительности кадра, запомненное цифровое изображение подвергают масштабированию и фильтрации и осуществляют режим захвата размерного объекта, в котором выполняют байесовскую классификацию изображения, включающую формирование структурного образа объекта, гистограмм распределения яркостей изображения, с использованием которых производят сегментацию окна анализа, формирование по результатам сегментации показателя качества селекции показателя качества селекции и бинарного образа объектов, определение по бинарному образу объекта текущих проекций плоского изображения по горизонтали и вертикали, сглаживание этих проекций в пределах одного кадра, определение по одним координатам центра изображения объекта, при величине показателя качества селекции, меньшей порогового значения, запоминают структурный образ объекта в качестве его структурного эталона и проекции плоского изображения по горизонтали и вертикали в качестве эталона и переходят в режим автономного сопровождения объекта, при котором одновременного производят байесовскую, структурную и корреляционную классификацию изображения, при этом в процессе байесовской классификации по бинарному образу объекта определяют текущие горизонтальные и вертикальные проекции изображения объекта, по которым определяют координаты объекта, а координаты центра изображения объекта корректируют по результатам свертки текущих и запомненных в качестве эталона проекций плоского изображения по горизонтали и вертикали, в процессе структурной классификации цифровое изображение подвергают дифференциальной предварительной обработке, после чего выполняют пороговую сегментацию градиентного изображения, в результате которой получают бинарное изображение, которое кодируют цепным кодом, по значениям кодов выделяют раздельно горизонтальные и вертикальные линии и множество их пересечений, формируют текущую композицию примитивов, в качестве которых берут линии и пересечения, определяют расстояния между линиями и расстояния между пересечениями, положение и расстояние линий и пересечений относительно центра окна анализа, выделенную композицию примитивов проектируют на горизонтальную и вертикальную оси и по проекциям определяют координаты объекта, в процессе корреляционной классификации выполняют структурную предварительную обработку цифрового изображения, в результате которой формируют текущий структурный образ объекта, выполняют привязку его и полученного в процессе байесовской классификации и запомненного в качестве эталона структурного образа объекта, в результате которой получают оценку координат объекта, комплексируют координаты объекта, полученные в результате байесовской, структурной и корреляционной классификаций, и получают текущие координаты объекта при устойчивой селекции, а в случае нарушения режима слежения, решение принимают по результатам корреляционной привязки текущего изображения объекта и вычисляют его прогнозируемые координаты или получают текущие координаты объекта, после чего производят комплексирование координат объекта, полученных в каждом из каналов обработки, и получают текущие координаты; при режиме захвата малоразмерных объектов, в котором производят кластерный анализ, при котором цифровое изображение кластеризуют на примерно однородные по яркости области, производят сегментацию изображения в окне анализа, в результате которой определяют связные области, для которых определяют размеры и контрастную яркость связных областей, определяют расстояние от центра ближайшего описывающего прямоугольника до центра окна анализа и если это расстояние превышает пороговое значение, то кластерный анализ повторяют, а если оно превышает пороговое значение, то переходят в режим автономного сопровождения малоразмерного объекта, в котором производят морфологическую классификацию изображения, при которой определяют наличие границ фона в окне анализа, по размеру и форме изображения объекта формируют структурирующий элемент множества яркостей, посредством которого выделяют малоразмерные темные пятна, если объект темнее фона, либо светлые пятна, если объект светлее фона, затем формируют бинарный образ объекта, по которому получают текущие координаты объекта.

Известный способ предназначен для селекции наземных и воздушных объектов и варианты устройства селекции наземных и воздушных объектов, направленных на обеспечение захвата и автосопровождения малоразмерных (при минимальном габаритном размере изображения цели менее 5 пике) или размерных объектов на сложном фоне в любое время суток, обеспечивающий повышение точности и надежности селекции наземных, в том числе малоразмерных подвижных, или воздушных объектов на фоне Земли.

Недостатками данного способа являются то, что не рассматривались: аномальные условия, связанные с периодическими искажениями изображений (периодический шум, смазы, засветки, размытости и др.); одновременное комплексирование изображений видимого и инфракрасного диапазонов; минимальное восстановление локальных участков изображения.

Цель изобретения заключается в повышении информативности изображений для идентификации и автосопровождения объектов оптико-электронной системой беспилотного летательного аппарата в аномальных условиях, связанных с периодическими искажениями изображений.

Требуемый технический результат достигается тем, что при способе обнаружения и автосопровождения объектов оптико-электронной системой беспилотного летательного аппарата, в котором не учитывались аномальные условия, связанные с периодическими искажениями изображений, заключающийся в том, что производят анализ удаленности каждой области объекта целеуказания от точки целеуказания и принадлежность точки целеуказания найденной области; объединяют мелкие области; делят область целеуказания на несколько прямоугольных областей, центр которых находится в точке целеуказания, при этом шаг разбиения по каждой из двух осей определяют как минимальный размер объекта в пикселях; осуществляют процедуру математического морфологического описания объекта целеуказания; исключают области, в которых не лежит точка целеуказания и площадь меньше минимальной площади объекта; производят начальное обучение представления модели объекта и обучение соответствующего классификатора; осуществляют обновление моделей объектов и классификатора; объединяют результаты работы расчета межкадрового смещения в соответствии с выбранной логикой в единый фрагмент изображения, который принимают за текущее положение объекта; формируют набор положительных и отрицательных примеров для обучения моделей объектов; осуществляют комплексирование текущих изображений, объединяют их и сравнивают с исходным при этом выполняют операцию пороговой фильтрации, полученных от разных информационных оптико-электронных каналов; осуществляют расчет оценки искажающей функции текущего изображения на основе эксперимента, дисперсии шума полного текущего изображения и выборочного среднего значения шума текущего изображения; осуществляют восстановление изображения путем определения минимума несоответствия между текущим изображением и приближением исходного изображения при условии формирования параметра регуляризации; определяют текущий угол рассогласования между межкадровым смещением объектов целеуказания и системой стабилизации оптико-электронных средств беспилотного летательного аппарата.

Сущность изобретения поясняется структурной схемой, где на фиг. 1 изображены:

1 - модуль обнаружения и сегментации изображений подвижных объектов;

2 - модуль автосопровождения объектов;

3 - модуль инициализации изображений объектов;

4 - модуль сопровождения объектов;

5 - модуль комплексирования и восстановления изображений объектов в условиях периодического искажения изображений;

6 - блок анализа области целеуказания;

7 - блок кластеризации изображений объектов;

8 - блок пороговой бинаризации изображений объектов;

9 - блок анализа бинарного изображения объектов;

10 - блок начальных изображений;

11 - блок начальных координат;

12 - блок инициализации моделей объектов;

13 - блок моделей объектов;

14 - блок инициализации детекторов;

15 - блок классификаторов образцов объектов;

16 - блок текущих изображений;

17 - блок расчета межкадрового смещения;

18 - блок обнаружения сопровождаемого объекта;

19 - блок объединения результатов;

20 - блок текущих координат;

21 - блок обновления классификатора;

22 - блок обновления моделей объектов;

23 - блок комплексирования изображений объектов;

24 - блок восстановления изображений объектов в условиях периодических искажений изображений;

25 - блок анализа комплексирования и восстановление изображений объектов в условиях периодического искажения изображений;

26 - блок пересчета текущих координат автосопровождения объекта целеуказания в координаты системы стабилизации оптико-электронной системы беспилотного летательного аппарата.

Изобретение работает следующим образом.

В процессе полета беспилотного летательного аппарата осуществляют обнаружение и сегментацию начальных изображений области целеуказания (НИОЦ), при этом выполняется работа модуля обнаружения и сегментации изображений объектов 1, в который входят: блок анализ области целуказания 6, блок кластеризации изображений подвижных объектов 7, блок пороговой бинаризации изображений объектов 8, блок анализа бинарного изображения объектов 9, а также автосопровождение объектов в модуле автосопровождения объектов 2, в который входят модули: инициализации изображений объектов 3, сопровождения объектов 4 и комплексирования и восстановления изображений объектов в условиях периодических искажений изображений 5 и блоки 10, 11, 13, 15, 16.

Модуль обнаружения и сегментации изображений объектов 1 осуществляет селекцию объектов на изображении в непосредственной близости от целеуказания, которые задает оператор. Объекты могут быть любой формы. В результате на изображении в непосредственной близости от целеуказания появляется прямоугольник, в который вписано изображение выделяемого объекта.

Сегментацию объекта осуществляют в ограниченной области кадра, которая соответствует 1/5 от размера всего кадра, с центром в точке целеуказания, рассчитывают разброс значений яркости и предполагаемый уровень яркости, выбранных объектов. При неопределенности формы и размеров объекта производят минимизацию влияния распределения яркости изображения с увеличением удаленности от точки целеуказания.

Процесс обнаружения и сегментации изображений объектов в модуле 1 разбивают на несколько этапов:

на первом этапе от внешней программы с помощью собственных средств получают от телевизионного и/или тепловизионного каналов и передают в блок анализа области целеуказания 6 кадр с изображением, на котором оператор выделяет объект;

на втором этапе производят анализ области целеуказания, при этом в блоке кластеризации изображений объектов 7 производят кластеризацию по яркости методом сдвига среднего, что позволяет повысить однородность выделения объектов и упростить пороговую бинаризацию;

на третьем этапе в блоке пороговой бинаризации изображений объектов 8 производят пороговую бинаризацию изображений, в блоке анализа бинарного изображения подвижных объектов 9 проводят анализ, который заключается в выборе соответствующей области объекта, а также проводят: анализ удаленности каждой из найденных областей от точки целеуказания, принадлежность точки целеуказания найденной области, объединение мелких областей (меньших минимального размера объекта и удаленных друг от друга менее чем на удвоенный минимальный размер объекта).

В модуле 1 область целеуказания делят на несколько прямоугольных областей, центр которых находится в точке целеуказания, шаг разбиения по каждой из двух осей определяют как минимальный размер объекта в пикселях. Рассчитывают разброс значений яркости для каждой из областей и умножают на соответствующий коэффициент удаленности от точки целеуказания. Коэффициент определяется значением функции Гаусса, с центром в точке целеуказания и СКО, равным

где L_x,y - размеры области целеуказания.

Разброс значений яркости объекта находится как среднее разброса значений яркости для каждой из областей. Считается, что все пиксели, значение яркости которых лежит в данном интервале, принадлежат объекту. Средний уровень яркости R объекта сопровождения находится, как медиана яркости пикселей в малой области с центром в точке целеуказания и рассчитывается по формуле:

где w, z - векторы значений яркостей пикселей изображения, z_ξ - значение различных яркостей пикселей изображения.

Значение разброса яркости и минимальные размеры выделяемого объекта являются входными параметрами в блок 7 для процедуры кластеризации:

из множества k пикселей выбирают те пиксели, которые являются центроидами соответствующих k кластеров;

вводят цикл алгоритма, который продолжается до тех пор, пока центроиды кластеров не перестанут изменять свое положение;

проводят анализ каждого пикселя изображения и определяется к какому центроиду какого кластера он относится как близлежащий;

рассчитывают новые координаты центроидов k кластеров.

В результате процедуры кластеризации области на изображении и разброс яркости пикселей которых менее некоторого задаваемого порога, выделяют одним цветом, что позволяет повысить однородность выделения объекта целеуказания.

Достоинством является то, что результат кластеризации не зависит от формы и расположения объектов на изображении.

Пороговая бинаризация изображения осуществляется в блоке 8 по следующему алгоритму:

рассчитывают порог яркости Q или пороговую классификацию разделения изображения на светлый объект (Q>T) и темный фон (Q<T) и порог бинаризации Т;

определяют порог между классами таким образом, чтобы каждый из них был как можно более «плотным»;

рассчитывают минимизацию внутриклассовой дисперсии между двумя классами по формуле:

где Р₁, Р₂ - вероятности первого и второго классов соответственно;

рассчитывают эквивалентную минимизации внутриклассовой дисперсии максимизацию межклассовой дисперсии по формуле:

где а₁, а₂ - средние арифметические значения для каждого из классов;

вычисляют гистограмму для бинаризации объекта требуется многопороговая бинаризация при этом количество порогов N определяется оценкой эффективности от 0 до 1 на основе критерия Отцу, значение оценки тем больше, чем эффективней разбивается изображение на N=1 класс;

рассчитывают интервал значений яркости, в котором находится найденный ранее в результате анализа области целеуказания уровень яркости объекта целеуказания.

Если объект однозначно определяют по одному уровню яркости - порогу, то процедура бинаризации упрощается и сводится к классической бинаризации изображения по порогу.

Выполняют процедуру математического морфологического описания объектов для формирования маски объекта целеуказания. В результате бинаризации, изображение делится на несколько областей-кандидатов, в одной из которых находится объект.

Первым шагом при анализе бинарного изображения является объединении малых областей. Области, площадь которых меньше минимальной площади объекта и расстояние между центроидами которых меньше удвоенного минимального размера объекта, объединяются в единые области. Например, если минимальные размеры объекта 20×20 пикселей, то минимальная площадь объекта - 400, расстояние между центроидами - 40.

Далее отбрасывают области, в которых не лежит точка целеуказания и площадь меньше минимальной площади объекта. После такой фильтрации часто остается две-три области, из которых нужно выделить наиболее вероятную область изображения объекта.

Для поиска наиболее вероятной области изображения объекта вводится мера удаленности центра масс области от точки целеуказания, определяемая формулой:

где d - евклидово расстояние между центроидом области и точкой целеуказания, S - площадь области, k - коэффициент от 0 до 1 (зависит от источника изображений, типа выделяемых объектов). Областью изображения объекта считается область с минимальной удаленностью l.

В результате на выходе блока 8 выполненная сегментация изображения отображается прямоугольник, в который вписано изображение объекта.

В блоке анализа бинарного изображения объектов 9 формируются координаты вершин прямоугольника. Координаты вершин прямоугольника передаются в модуль автосопровождения объекта в блок начальных координат 10 и блок комплексирования изображений подвижных объектов 23 модуля комплексирования и восстановления изображений подвижных объектов в условиях периодического искажения изображений 5.

Процесс автосопровождения реализован в виде отдельного программного модуля, который для каждой из камер, входящих в состав аппаратных средств регистрации изображений, реализует функции сопровождения изображений объектов целеуказания.

Основной задачей процесса автосопровождения является отслеживание объектов целеуказания по последовательности полутоновых кадров, получаемых с устройств регистрации, в частности, с цифровой видеокамеры. Начальные координаты объекта сопровождения задаются в модуле 1 сегментации или выделяются оператором в виде соответствующей изображению объекта прямоугольной области на кадре.

На начальном этапе по полученному целеуказанию и соответствующему кадру (НИОЦ) производят начальное обучение представления модели объекта и обучение соответствующего классификатора. В блоке 13 модели объектов целеуказания представляют собой набор положительных и отрицательных примеров изображений, предназначенные для проверки факта соответствия сопровождаемой области изображения объекту в процессе работы. Классификатор предназначен для независимого от процесса сопровождения обнаружения объекта с целью последующей корректировки результатов сопровождения. В процессе работы модуля автосопровождения 2 производят обновление как модели объекта, так и классификатора в блоке классификаторов образцов подвижных объектов 14.

Модель объекта представляет собой набор положительных и отрицательных примеров изображений , которая формируется при поступлении начального целеуказания и обновляется в процессе сопровождения объекта. Положительными примерами являются изображения сопровождаемого объекта, а отрицательными - различные области на кадре, которые заведомо не являются объектом. Наличие обновляемой модели объекта позволяет определить насколько изображение сопровождаемой области в настоящем времени похоже на то, что было в прошлом.

Для сравнения произвольного изображения с моделью объекта используется следующая мера:

где - мера несоответствия текущего изображения объектов на набор отрицательных примеров, - мера несоответствия текущего изображения объектов на набор положительных примеров; S(p, p_j) мера соответствия двух изображений, определяется по формуле:

где NCC(p_i, p_j) - нормализованный коэффициент корреляции двух изображений, равен:

где p_i(x, у), p_j(x, у) - метрика двух изображений.

Инициализация модели объекта происходит при поступлении целеуказания и соответствующего кадра видеозаписи. В начальный момент в качестве одного положительного примера в модель объекта добавляется изображение, соответствующее целеуказанию. Дальнейшее заполнение модели осуществляется в результате последовательного сравнения изображений-кандидатов с текущей моделью объекта.

Изображения-кандидаты состоят из следующих в случайном порядке дополнительных изображений объекта и изображений фона. Для обеспечения инвариантности модели объекта к повороту дополнительные изображения формируются путем поворота исходного изображения объекта в пределах значений углов от 0 до 360°. В качестве изображений фона используются сопоставимые по размеру с изображением объекта фрагменты кадра, расположенные случайным образом и не пересекающиеся с объектом.

Для каждого изображения-кандидата вычисляется мера сходства с моделью объекта С(р, M). При этом в качестве отрицательных примеров запоминаются только похожие на текущую модель объекта изображения фона, например, для которых значение C(р^-, м) > 0,5. В качестве положительных примеров запоминаются только слабо похожие на текущую модель изображения объекта, например, для которых значение C(р⁺, м) < 0,65.

После инициализации изображения в модуле 3 осуществляют непосредственное сопровождение объекта. При получении очередного кадра текущего изображения области целеуказания (ТИОЦ) производится обработка текущего и предыдущего кадра, которая включает следующие вычислительные процедуры:

по имеющейся информации о положении объекта на предыдущем кадре в блоке расчета межкадрового смещения 17 рассчитывают смещение и размер объекта на текущем кадре;

на текущем кадре с помощью блока классификаторов образцов подвижных объектов 15 определяют фрагменты изображения, похожие на объект;

результаты работы блоков 15-17 расчета межкадрового смещения объединяют в соответствии с выбранной логикой в единый фрагмент изображения, который принимают за текущее положение объекта;

если сопровождаемая область изображения соответствует модели объекта, то осуществляют обновление моделей объектов и классификатора в блоке обновления моделей подвижных объектов 22.

Классификатор предназначен для независимого от процесса сопровождения обнаружения объекта с целью последующей корректировки результатов сопровождения и состоит из нескольких независимых случайных структур. Каждая структура характеризуется «-мерным вектором бинарных признаков Z={z_p z₂, …, z_n}, где значением признака является результат сравнения двух расположенных по вертикали и по горизонтали пикселей изображения:

Независимость признаков обеспечивается, за счет того что комбинации пар пикселей являются уникальными для каждой структуры и распределены равномерно в пределах изображения. Таким образом, каждая структура ставит в соответствие изображению уникальный n-разрядный бинарный код.

Процесс обучения каждой структуры классификатора заключается в определении апостериорной вероятности P(H_S|Z) для каждого уникального вектора признаков, количество которых составляет 2n, где H_S - гипотеза о наличии объекта. Результатом применения классификатора объекта к произвольной области изображения является средняя по всем структурам апостериорная вероятность:

где K - количество структур, Z_k - вектор признаков (бинарный код) k-ой структуры для данного изображения.

Для начального обучения классификатора на этапе инициализации используется первый кадр, содержащий изображение объекта и фона. Область кадра подвергается размытию для получения более общей модели объекта и фона. На основе размытого изображения формируется набор положительных и отрицательных примеров для обучения.

Формирование положительных примеров осуществляется также искусственным образом путем применения случайных проективных преобразований к изображению объекта на первом кадре в небольшом диапазоне смещений (±2-5%), масштабов (±2-5%) и углов поворота (±5-20°) вокруг трех осей, а также добавлением шума.

Для получения отрицательных примеров в границах поля кадра изображения формируется сетка из прямоугольных фрагментов с заданным шагом и в заданном диапазоне масштабов (±10-30%). При этом каждый из фрагментов, который не пересекается с изображением объекта и имеет дисперсию распределения интенсивности выше пороговой, добавляется в набор отрицательных примеров.

В процессе обучения для каждого дерева считают количество положительных N_p и отрицательных N_n примеров, имеющих одинаковый бинарный код. Рассчитывается соответствующая апостериорная вероятность по формуле:

При поступлении очередного кадра производят процедуру обнаружения объекта с помощью классификатора. Поиск осуществляется по изображению размытому низкочастотным фильтром с гауссовским ядром в пределах сетки, содержащей координаты всех возможных фрагментов на изображении, следующих с заданным шагом и в заданном диапазоне размеров изображения объекта.

Результатом применения классификатора к одному фрагменту изображения является значение средней апостериорной вероятности R, которая характеризует принадлежность соответствующей области изображения к объекту целеуказания. В качестве потенциальных объектов запоминаются те фрагменты, для которых значения средней апостериорной вероятности R, выше пороговой, выбираемой из интервала от 0,6 до 0,7.

Сетка фрагментов формируется заранее и не меняется в процессе работы алгоритма сопровождения. Наличие априорной информации о текущем размере изображения объекта позволяет осуществлять перебор лишь по соответствующей части сетки фрагментов, что существенно ускоряет процесс обнаружения объекта и сокращает количество ложных обнаружений. С целью ускорения процесса обнаружения классификатор применяется только к фрагментам, в пределах которых дисперсия распределения интенсивности превышает пороговое значение.

Процедура обновления классификатора и модели объекта осуществляется в блоках 21 и 22, если текущее состояние алгоритма сопровождения является валидным. Валидное состояние алгоритма задается в момент передачи целеуказания. В процессе своей работы алгоритм сопровождения может, как перестать быть валидным, так и стать валидным снова.

Алгоритм сопровождения перестает быть валидным, если выполняется любое из двух условий:

если результаты расчета межкадрового смещения являются нестабильными;

если фрагменты, обнаруженные классификатором, попадают только в один кластер, и похожесть на модель объекта соответствующего фрагмента изображения больше чем у фрагмента, полученного при расчете смещения.

Алгоритм сопровождения снова становится валидным, если сопровождаемый фрагмент имеет коэффициент сходства на модель объекта С(р, M) выше порогового значения.

Для обновления классификатора на основе размытого изображения, соответствующего текущему кадру, формируют набор положительных и отрицательных примеров для обучения. Формирование положительных примеров осуществляется путем применения случайных проективных преобразований к текущему изображению объекта, в небольшом диапазоне смещений (±5%), масштабов (±5%) и углов поворота (±5-20°) вокруг трех осей, а также добавления шума. В качестве отрицательных примеров используются фрагменты, которые не пересекаются с текущим фрагментом и у которых по итогам применения классификатора значение средней апостериорной вероятности больше некоторого минимального значения, например R>0,1.

В процессе обучения на новых данных увеличивают количество положительных N_p и отрицательных N_n примеров, имеющих одинаковый бинарный код. В результате чего соответствующие апостериорные вероятности обновляются.

При обновлении модели объекта производятся те же действия, что и на этапе инициализации. Для этого из текущего кадра формируется тестовый набор изображений, состоящий из положительных и отрицательных примеров. В качестве положительного примера берется часть кадра соответствующая текущему положению объекта. В качестве отрицательных примеров используются фрагменты, которые не пересекаются с текущим фрагментом, но при этом были идентифицированы классификатором как объект.

При аномальных условиях, связанных с периодическими искажениями изображений в блоке 23 производят комплексирование изображений для повышения информативности, полученных от различных информационных каналов. Под комплексированием изображений понимается такое совмещение нескольких изображений, которое приводит к повышению информативности по сравнению с анализируемыми отдельными исходными изображениями.

Комплексированное изображение, представляет собой объединенное изображение Z, полученное от телевизионного и тепловизионного каналов представляет объединенное множество:

где I₁ - начальное изображение объекта целеуказания; I₂, I₃ - текущие изображения одной и той же области от разных информационных каналов, Z^r - объединение текущих изображений в комплексированное.

Эффективность методов комплексирования оценивается с помощью информационной энтропии от контуров изображений, которые являются наиболее информативной частью. Критерием качества выступает перекрестная энтропия от контуров изображений [3, стр. 317]:

где Н_Е - перекрестная энтропия, Е - информационная энтропия, ∂z(x,y), ∂I_l(x,y), ∂I₂(x,y), ∂I₃(x,y) - контуры комплексированного, исходного и текущих изображений.

Комплексирование осуществляется только для текущих изображений на основе простой логической операции сравнения, но при этом предполагается, что контур начального изображения ∂I₁(x,y) является маской для контуров текущих изображений ∂I₂(x,y), ∂I₃(х,у), полученных от разных информационных каналов. Текущие изображения I₂(х,у), I₃(х,у) объединяют и сравнивают с исходным I₁(x,y) при этом над изображениями I₂(х,у), I₃(х,у) выполняется операция пороговой фильтрации. Задается пороговый уровень фильтра:

где T - уровень порогового фильтра.

В способе рассматривается влияние импульсного шума, возникающего при оцифровке изображения из-за переходных процессов (помех) в сети питания. Функция плотности распределения вероятностей (биполярного) импульсного шума задается выражением:

Также могут возникнуть случайные периодические засветки или размытости (смазы) текущего изображения во время движения оптико-электронной системы.

Исходное изображение ƒ(x, у) может искажаться различными видами шумов к виду g(x, у), задача состоит в построении некоторого приближения исходного изображения по заданному (искаженному) изображению, некоторой информации относительно искажающего оператора и некоторой информации относительно дискретного шума η(x, у).

Искаженное изображение может быть представлено [4, стр. 406]:

где h(x, у) - функция, представляющая искажающий оператор в пространственной области, «* » - символ пространственной свертки. Выражение 11 можно переписать в векторно-матричной форме:

осуществляют востановление на основе минимизации сглаживающего функционала со связью на основе регуляризации задачи, которая достигается заменой исходной задачи на задачу нахождения экстремума (минимума) некоторого сглаживающего функционала (например, квадрат нормы лапласиана) по алгоритму - блок 24:

Начало

1. Осуществляют расчет оценки искажающей функции на основе эксперимента:

или на основе моделирования:

где - дисперсия ошибок картографических данных;

2. Рассчитывают дисперсию шума σ_η полного изображения и выборочное среднее значение шума m_η при размере изображения M×N.

3. Осуществляют формирование векторов текущего изображения g, исходного изображения ƒ искажающего оператора η.

4. Формируют вектор невязок r между текущим изображением и приближением исходного изображения

5. Рассчитывают функционал невязки ϕ(r) при условии формирования параметра регуляризации γ через формулу [4, стр. 420]:

где - оценка преобразования текущего изображения, Р(х, у) - функция Фурье-преобразования, G(x,y) - текущее изображение с искажающим шумом, H(х,у) - искажающая функция, Н^*(х,у) - комплексное сопряжение искажающей функции.

6. Проверяют выполнение условия , при выполнении алгоритм завершается, в противном случае увеличивается значение параметра регуляризации γ и переходит к п. 3 алгоритма.

Конец

В блоке анализа комплексирования и восстановления изображений объектов 25 в условиях периодического искажения осуществляют расчет информативности комплесированного и/или восстановленного изображения на основе точности σ²(x₀, у₀, N) привязки текущих изображений к эталонному:

где (х₀,у₀) - точка изображения, для которой определяется информативность,

N - выбранный размер окрестности точки (x₀, y₀). Информативность определяется значением точности привязки изображений, чем выше значение, тем более неоднородным является фрагмент привязки.

В блоке пересчета текущих координат объекта целеуказания в координаты системы стабилизации оптико-электронной системы беспилотного летательного аппарата 26, при этом рассчитывают текущий угол рассогласования между межкадровым смещением и системой стабилизации оптико-электронных средств беспилотного летательного аппарата. Режим стабилизации, связанный с изображением, осуществляется посредством подачи сигнала на гироскопический чувствительный элемент через усилительно-преобразующее устройство на привод стабилизации, управление осуществляется подачей управляющего сигнала с блока управления в канал обратной связи контура стабилизации.

Таким образом, в предлагаемом новом способе помимо перечисленных в ближайшем аналоге, используются следующие дополнительные действия:

производят анализ удаленности каждой области объекта целеуказания от точки целеуказания и принадлежность точки целеуказания найденной области; объединяют мелкие области;

делят область целеуказания на несколько прямоугольных областей, центр которых находится в точке целеуказания, при этом шаг разбиения по каждой из двух осей определяют как минимальный размер объекта в пикселях;

осуществляют процедуру математического морфологического описания объекта целеуказания;

исключают области, в которых не лежит точка целеуказания и площадь меньше минимальной площади объекта;

производят начальное обучение представления модели объекта и обучение соответствующего классификатора;

осуществляют обновление моделей объектов и классификатора; объединяют результаты работы расчета межкадрового смещения в соответствии с выбранной логикой в единый фрагмент изображения, который принимают за текущее положение объекта;

формируют набор положительных и отрицательных примеров для обучения моделей объектов; осуществляют комплексирование текущих изображений, объединяют их I₂(х,у), I₃(х,у) и сравнивают с исходным I_x(х,у) при этом над изображениями I₂(х,у), I₃(х,у) выполняют операцию пороговой фильтрации, полученных от разных информационных оптико-электронных каналов;

осуществляют восстановление изображения путем определения минимума несоответствия ϕ(r) между текущим изображением g(x, у) и приближением исходного изображения при условии формирования параметра регуляризации γ;

осуществляют расчет оценки искажающей функции текущего изображения на основе эксперимента, дисперсии шума σ_η полного текущего изображения и выборочного среднее значение шума текущего изображения m_η;

рассчитывают текущий угол рассогласования α между межкадровым смещением объектов целеуказания и системой стабилизации оптико-электронных средств беспилотного летательного аппарата.

Сравнительный анализ существенных признаков существующих способов обнаружения и автосопровождения наземных объектов оптико-электронной системой беспилотного летательного аппарата и настоящего способа показывает, что предложенный способ, основанный на использовании дополнительных операций, связанных с обнаружением и сегментацией изображений объектов целеуказания, их автосопровождением, а также комплексированием и локальным восстановлением изображений объектов целеуказаний в условиях периодического искажения изображений отличается тем, что за счет обработки избыточной информации обеспечивается повышение информативности изображений для идентификации и автосопровождения объектов оптико-электронной системой беспилотного летательного аппарата в аномальных условиях, связанных с периодическими искажениями изображений.

Таким образом, достигается технический результат изобретения -повышение информативности изображений для идентификации и автосопровождения объектов оптико-электронной системой беспилотного летательного аппарата в аномальных условиях, связанных с периодическими искажениями изображений.

Источники информации

1. Лупанчук В.Ю., Куканков С.Н., Гончаров В.М. Патент RU №2 722 599 С1 «Способ коррекции бесплатформенной инерциальной навигационной системы беспилотного летательного аппарата малой дальности с использованием интеллектуальной системы геопространственной информации». 2019129492. Заяв. 19.09.2019. Опубл. 02.06.2020. Бюл. №16.

2. Алексеев Е.Г., Банкгальтер Р.И., Данилов А.П., Забаров B.C., Зенкин С.М., Злобина Е.В., Золотарь Ю.А., Китаев Н.Н., Кокорина В.Я., Моченов В.А., Мягков В.К., Руженцев А.В., Семенов В.И., Феклин А.А., Щукин Ю.В. Патент RU №2 173 881 С2 «Способ селекции наземных и воздушных объектов (его варианты) и устройство для его осуществления (его варианты)». 99113619/09. Заяв. 25.06.2099. Опубл. 20.09.2001.

3. Васильев А.С., Трушкина А.В. Методы комплексирования изображений в многоспектральных оптико-электронных системах. Сборник 26 Международной конференции и школа-семинар по компьютерной графике, обработке изображений и машинному зрению, системам визуализации и виртуального окружения «GraphiCon-2016». Нижний Новгород: ННГАСУ, 2016, с. 314-318.

4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. Изд. 3-е. М.: Техносфера, 2012. - 1104 с.

Формула изобретения

Способ обнаружения и автосопровождения объектов целеуказания оптико-электронной системой беспилотного летательного аппарата, заключающийся в том, что с помощью оптико-электронной системы, состоящей из тепловизионного канала инфракрасного диапазона, телевизионного канала и лазерного дальномера-целеуказателя, получают и передают кадры с изображением, на котором оператор выделяет объект целеуказания, производят анализ изображения и области целеуказания, осуществляют кластеризацию и бинаризацию изображений, после обнаружения объекта целеуказания осуществляют автосопровождение объектов целеуказания, отличающийся тем, что производят анализ удаленности каждой области объекта целеуказания от точки целеуказания и принадлежность точки целеуказания найденной области; объединяют мелкие области; делят область целеуказания на несколько прямоугольных областей, центр которых находится в точке целеуказания, при этом шаг разбиения по каждой из двух осей определяют как минимальный размер объекта в пикселях; осуществляют процедуру математического морфологического описания объекта целеуказания; исключают области, в которых не лежит точка целеуказания и площадь меньше минимальной площади объекта; производят начальное обучение представления модели объекта и обучение соответствующего классификатора; осуществляют обновление моделей объектов и классификатора; объединяют результаты работы расчета межкадрового смещения в соответствии с выбранной логикой в единый фрагмент изображения, который принимают за текущее положение объекта; формируют набор положительных и отрицательных примеров для обучения моделей объектов; осуществляют комплексирование текущих изображений, объединяют их I₂(х,у), I₃(х,у) и сравнивают с исходным I₁(x,y), при этом над изображениями I₂(х,у), J₃(х,у) выполняют операцию пороговой фильтрации, полученных от разных информационных каналов; осуществляют расчет оценки искажающей функции текущего изображения на основе эксперимента, дисперсии шума σ_η полного текущего изображения и выборочного среднего значения шума текущего изображения m_η; осуществляют восстановление изображения путем определения минимума несоответствия ϕ(r) между текущим изображением g(x, у) и приближением исходного изображения при условии формирования параметра регуляризации γ; рассчитывают текущий угол рассогласования α между межкадровым смещением объектов целеуказания и системой стабилизации оптико-электронных средств беспилотного летательного аппарата.