РОССИЙСКАЯ ФЕДЕРАЦИЯ ФЕДЕРАЛЬНАЯ СЛУЖБА ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ	(19) RU (11) 2 550 811 (13) C1
	(51) МПК G01S 13/46 (2006.01)

Статус:	не действует (последнее изменение статуса: 02.07.2021)
Пошлина:	Возможность восстановления: нет.

(21)(22) Заявка: 2014115175/07, 15.04.2014 (24) Дата начала отсчета срока действия патента: 15.04.2014 Приоритет(ы): (22) Дата подачи заявки: 15.04.2014 (45) Опубликовано: 20.05.2015 Бюл. № 14 (56) Список документов, цитированных в отчете о поиске: RU2465613 С1, 27.10.2012. RU 2459218 C1, 20.08.2012. RU 2469408 C1, 10.12.2012. RU 2471231 С1, 27.12.2012. US 6005609 A, 21.12.1999. JP 2011242182 A, 01.12.2011. WO 2005045459 A3, 07.07.2005. US 5548822 A, 20.08.1996 Адрес для переписки: 194064, Санкт-Петербург, Тихорецкий пр., 3, ВОЕННАЯ АКАДЕМИЯ СВЯЗИ, Бюро изобретательства

(72) Автор(ы): Вишняков Сергей Михайлович (RU), Смирнов Павел Леонидович (RU), Терентьев Андрей Викторович (RU), Фильченко Николай Владимирович (RU), Царик Олег Владимирович (RU), Шепилов Александр Михайлович (RU), Шишков Вячеслав Александрович (RU) (73) Патентообладатель(и): Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации (RU), Общество с ограниченной ответственностью "Специальный Технологический Центр" (RU)

(54) СПОСОБ И УСТРОЙСТВО ОПРЕДЕЛЕНИЯ КООРДИНАТ ОБЪЕКТОВ

Заявляемые объекты объединены единым изобретательским замыслом, относятся к области радиотехники, а именно к пассивной локации и могут быть использованы в навигационных, пеленгационных, и др. средствах для визуального обнаружения и определения координат объектов с летно-подъемных средств (ЛПС).

Известен способ по пат. РФ №2458407, МПК G08B 25/10, обеспечивающий наведение видеокамеры на объект, положение которого в абсолютной системе координат с центром в точке размещения видеокамеры известно в этот момент времени, определяют ориентацию видеокамеры в системе координат видеокамеры, на основе определенной ориентации видеокамеры и положения объекта рассчитывают поворот системы координат видеокамеры в абсолютной системе координат. Полученные результаты используются для пересчета координат наблюдаемого объекта. Однако названный способ реализуется на земной поверхности и обладает малым радиусом действия. Кроме того, низкая точность аналога также ограничивает его применение. Последнее связано с тем, что в кадре видеокамеры наблюдаются не только заданный объект, но и смежные с ним предметы, что затрудняет точное визирование видеокамеры. Аналогичными недостатками обладают и способы по пат. РФ №2251712 и пат. РФ №2154284.

Известен способ по пат. РФ 2323851, МПК B64C 31/06. Аналог предполагает использование беспилотного летательного аппарата (БПЛА) в совокупности с видеокамерой. Аналог обеспечивает фотографирование земной поверхности под управлением наземного поста.

Основные недостатки данного аналога состоят в том, что он не обеспечивает измерение координат объектов, а для принятия решения о фотографировании необходим оператор поста управления.

Известен способ по пат. РФ №2465613, МПК G01S 3/14. Он предполагает установку под фюзеляжем ЛПС видеокамеры, определение ориентации видеокамеры и антенной системы (АС) пеленгатора относительно борта ЛПС, а в процессе полета постоянное через заданный интервал времени определение местоположения ЛПС и его ориентации, а при обнаружении заданного источника радиоизлучения (ИРИ) определение его пространственно-информационных параметров с учетом пространственной ориентации видеокамеры, АС и собственно ЛПС путем последовательного перехода из одной системы координат в другую.

Способ-аналог позволяет с помощью видеокамеры и радиопеленгатора повысить точность определения местоположения ИРИ.

Способу также присущ недостаток, связанный с относительно низкой точностью определения координат объектов. Практический интерес, как правило, представляет не сам ИРИ, а объект, на котором (или в котором) он размещается. В ситуации, когда ИРИ на объекте находится в выключенном состоянии, прототип теряет свою работоспособность. Кроме того, ИРИ часто выносят за пределы объекта, что также усугубляет ситуацию. Низкая точность определения координат объясняется тем, что в кадре видеокамеры одновременно наблюдается большая площадь земной поверхности, много превышающая площадь объекта, что и влечет за собой ошибки измерений.

Наиболее близким по технической сущности является способ определения координат объектов по пат. №2513900, МПК G01S 13/46, B64C 31/06.

Способ-прототип заключается в том, что на подготовительном этапе на борту летно-подъемного средства (ЛПС) под фюзеляжем устанавливают и фиксируют видеокамеру, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (k_k, l_k, ζ_k), где k_k, l_k, ζ_k - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (B_lps, L_lps, H_lps), где , , - соответственно широта, долгота и высота ЛПС в t_i-й момент времени, i=1, 2, …, I, и его пространственную ориентацию (k_lps, l_lps, ζ_lps), где , , - соответственно углы крена, тангажа и склонения ЛПС в t_i-й момент времени, совместно запоминают навигационные и временные параметры ЛПС, а при обнаружении j-го заданного объекта в момент времени t_i определяют местоположение объекта на кадре видеокамеры, преобразуют координаты j-го объекта в кадре на вектор направления на него в системе координат видеокамеры с учетом влияния на результаты измерений дисторсии объектива, переводят координаты ЛПС в геоцентрическую систему координат , корректируют вектор направления на j-й объект с учетом априорно известной ориентации видеокамеры относительно борта ЛПС (k_k, l_k, ζ_k) путем последовательного умножения значений на соответствующие углам Эйлера матрицы поворота, после чего в нормальной системе координат вычисляют уточненное значение вектора направления на j-й объект с учетом измеренных в момент времени t_i пространственных углов ЛПС: крена k_lps, тангажа l_lps и склонения ζ_lps, определяют уточненные значения азимута , угла места и удаление ЛПС, находящегося в момент времени t_i на высоте H_lps, от j-го объекта d(H₀)_ij, расположенного на поверхности "круглой" Земли, в геоцентрической системе координат определяют значение истинного вектора направления на j-й объект , которое зависит от широты B_lps и долготы L_lps местоположения ЛПС, определяют координаты точки пересечения вектора с "круглой" Землей , преобразуют геоцентрические координаты j-го объекта в географические где B_j и L_j соответственно широта и долгота местоположения j-го объекта, при наличии k последовательных кадров, k=1, 2, …, K, с изображением j-го объекта выполняют k циклов измерений географических координат , а результаты измерений усредняют, а при наличии цифровой карты местности района измерений, представляющей собой матрицу с дискретностью по координатам района измерений с соответствующими значениями высот рельефа, дополнительно уточняют географические координаты обнаруженного j-го объекта .

Благодаря учету местоположения объекта в кадре видеокамеры в прототипе достигается более точное измерение вектора направления на объект. Возможность последующего усреднения результатов оценивания по кадрам и учет особенности рельефа местности способствуют дальнейшему повышению точностных характеристик способа.

Однако прототипу присущ недостаток, связанный с необходимостью участия оператора наземного поста управления в своевременном принятии решения о необходимости измерения координат конкретного объекта из их совокупности на кадре. Данная ситуация еще более усугубляется при необходимости одновременного управления несколькими БПЛА, например четырьмя (см. "Орлан-10". http://bla-orlan.ru/default/catalog/bla/irlan-10.html), что влечет за собой пропуски и ошибочные решения.

Известны устройства по Пат. РФ №2251712, МПК G01S 5/02; Пат. РФ №2359288, МПК G01S 5/02. Аналоги обеспечивают определение координат объектов с помощью оптико-электронных средств. Однако им присущ недостаток: они размещаются на земной поверхности, в следствии чего обладают маленьким радиусом действия.

Известна система наблюдения за земной поверхностью с беспилотным летательным аппаратом по Пат. РФ №2323851, МПК B64C 31/06.

Прототип содержит затягивающую лебедку, БПЛА и наземный пункт управления (НПУ), причем БПЛА состоит из контроллера, рулевого привода, аэродинамических рулей, автопилота, двигательной установки, блока видеонаблюдения и первого приемо-передающего модуля с соответствующими связями, а наземный пункт управления выполнен содержащим блок управления, второй приемо-передающий модуль и устройство обработки и отображения информации с соответствующими связями.

Аналог предназначен для получения фотоснимков земной поверхности с высоты порядка 100 метров. Однако устройство не обеспечивает измерение координат видимых объектов из-за отсутствия высокоточной системы навигации БПЛА и высокоточной системы определения направления на него.

Наиболее близким по своей технической сущности к заявляемому устройству определения координат объектов является устройство по пат. РФ №2513900, МПК B64C 31/6.

Устройство-прототип состоит из беспилотного летательного аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательная установка, группа информационных входов которого соединена с третьей группой информационных выходов контроллера, первый приемо-передающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для формирования команд управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления.

Устройство-прототип обеспечивает высокую точность измерения координат объекта благодаря учету местоположения объекта в кадре видеокамеры, возможностью усреднения результатов оценивания по совокупности кадров и учету особенностей рельефа местности.

Однако прототипу присущ недостаток, связанной с недостаточной пропускной способностью, что негативно сказывается на эффективности принимаемых решений по распознаванию обнаруженных объектов, что еще более усугубляется при одновременной работе с несколькими БПЛА.

Целью заявляемых технических решений является разработка способа и устройства определения координат объектов, обеспечивающих повышение пропускной способности за счет более эффективного обнаружения и распознавания заданных объектов на основе видеоизображений, поступающих с борта нескольких БПЛА, путем реализации процедур "компьютерного зрения".

Поставленная цель достигается тем, что в известном способе определения координат объектов, заключающемся в том, что на подготовительном этапе на борт ЛПС устанавливают и фиксируют видеокамеру для обзора нижней полусферы, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (k_k, l_k, ζ_k), где k_k, l_k, ζ_k - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (B_lps, L_lps, H_lps), где , , - соответственно широта, долгота и высота ЛПС в t_i-й момент времени, i=1, 2, …, I, и его пространственную ориентацию (k_lps, l_lps, ζ_lps)_i, где , , - соответственно углы крена, тангажа и склонения ЛПС в t_i-й момент времени, совместно запоминают навигационные и временные параметры ЛПС, а при обнаружении j-го заданного объекта в момент времени t_i определяют местоположение объекта на кадре видеокамеры, преобразуют координаты j-го объекта в кадре на вектор направления на него в системе координат видеокамеры с учетом влияния на результаты измерений дисторсии объектива, переводят координаты ЛПС в геоцентрическую систему координат , корректируют вектор направления на j-й объект с учетом априорно известной ориентации видеокамеры относительно борта ЛПС (k_k, l_k, ζ_k) путем последовательного умножения значений на соответствующие углам Эйлера матрицы поворота, после чего в нормальной системе координат вычисляют уточненное значение вектора направления на j-й объект с учетом измеренных в момент времени t_i пространственных углов ЛПС: крена , тангажа и склонения , определяют уточненные значения азимута , угла места и удаление ЛПС, находящегося в момент времени t_i на высоте , от j-го объекта d(H₀)_ij, расположенного на поверхности "круглой" Земли, в геоцентрической системе координат определяют значение истинного вектора направления на j-й объект , зависящее от широты B_lps и долготы L_lps, местоположения ЛПС, определяют координаты точки пересечения вектора с "круглой" Землей , преобразуют геоцентрические координаты j-го объекта в географические , где B_j и L_j соответственно широта и долгота местоположения j-го объекта, при наличии k последовательных кадров, k=1, 2, …, K, с изображением j-го объекта выполняют к циклов измерений географических координат , результаты измерений усредняют, а при наличии цифровой карты местности района измерений, представляющей собой матрицу с дискретностью по координатам района измерений с соответствующими значениями высот рельефа, уточняют географические координаты обнаруженного j-го объекта , формируют и запоминают набор эталонных вектор-контуров в совокупности с n первыми членами свертки ее автокорреляционной функции (АКФ), а в процессе полета ЛПС для распознавания обнаруженных объектов и принятия решения на их местоопределение находят вектор-контур обнаруженного объекта и первые n элементов вейвлетной свертки АКФ, сравнивают n первых элементов свертки АКФ вектор-контура обнаруженного объекта с n первыми элементами сверток АКФ эталонных вектор-контуров, определяют и выделяют эталонные вектор-контура с минимальными отличиями от обнаруженного вектор-контура, определяют значения взаимнокорреляционных функций (ВКФ) для выделенных эталонных вектор-контуров и обнаруженного вектор-контура, сравнивают полученные значения ВКФ с заданным порогом и при выполнении пороговых условий определяют эталонный вектор-контур с наибольшим значением ВКФ, принимают решение об обнаружении и идентификации объекта, соответствующего эталону с наибольшим значением ВКФ, определяют координаты центра обнаруженного и идентифицированного объекта на кадре и формируют команду на его местоопределение, а в качестве выходных формируют данные о типе объекта, его географических координат и времени измерения.

Благодаря новой совокупности признаков в заявляемом способе обеспечивается одновременное эффективное распознавание заданных объектов на основе видеоизображений от нескольких БПЛА без участия оператора наземного пункта управления благодаря формированию эталонных вектор-контуров объектов в совокупности с их первыми n членами свертки АКФ с последующим распознаванием обнаруженных объектов на основе выборочного двухэтапного (грубого и точного) анализа их АКФ и ВКФ, что позволяет существенно повысить пропускную способность.

Поставленная цель в заявляемом устройстве достигается тем, что в известном устройстве, состоящем из первого беспилотного летающего аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательная установка, группа информационных входов которой соединена с третьей группой информационных выходов контроллера, первый приемо-передающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для формирования команд управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления, дополнительно используют M-1 идентичных с первым БПЛА, M=2, 3 …, , а в НПУ дополнительно введены второе запоминающее устройство и устройство распознавания, выполненные M-канальными, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления, первая группа информационных входов соединена с группой информационных выходов второго запоминающего устройства, вторая группа информационных входов соединена с группой информационных выходов приемного модуля, выполненного M-канальным, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства, группа информационных входов которого является входной шиной НПУ, вторая группа информационных выходов устройства распознавания является второй выходной шиной наземного пункта управления, группа информационных выходов второго устройства обработки и отображения информации - первой выходной шиной НПУ, при этом первое и второе устройства обработки и отображения информации и второй приемопередающий модуль выполняют M-канальными.

Перечисленная новая совокупность существенных признаков за счет того, что вводятся новые элементы и связи позволяет достичь цели изобретения: обеспечить одновременное эффективное обнаружение и распознавание заданных объектов на основе видеоизображений без участия оператора наземного поста управления.

Заявляемые объекты поясняются чертежами, на которых показаны:

на фиг. 1 обобщенный алгоритм определения координат объекта;

на фиг. 2 обобщенная структурная схема устройства определения координат объекта;

на фиг. 3 вариант формирования библиотеки эталонных описаний объектов;

на фиг. 4 инвариантность относительного сдвига начала отсчета при использовании комплексного вектор-контура для эталонного описания объекта;

на фиг. 5 обобщенный алгоритм распознавания объекта;

на фиг. 6 алгоритм выделения вектор-контуров объектов;

на фиг. 7 алгоритм сравнения обнаруженных вектор-контуров с эталонными описаниями;

на фиг. 8 алгоритм нахождения координат объекта (B, L, H)_j в географической системе координат по одному кадру;

на фиг. 9 алгоритм нахождения координат объекта (B, L, H)_j в географической системе координат по серии кадров;

на фиг. 10 алгоритм работы второго блока управления;

на фиг. 11 структурная схема второго устройства обработки и отображения информации;

на фиг. 12 структурная схема седьмого вычислителя;

на фиг. 13 алгоритм работы седьмого вычислителя по определению вектора направления на объект в системе координат видеокамеры;

на фиг. 14 алгоритм работы восьмого вычислителя;

на фиг. 15 структурная схема блока обработки видеоизображения;

на фиг. 16 алгоритм работы блока обработки видеоизображения;

на фиг. 17 алгоритм работы шестого вычислителя;

на фиг. 18 алгоритм работы девятого вычислителя;

на фиг. 19 алгоритм работы третьего блока управления;

на фиг. 20 структурная схема устройства распознавания;

на фиг. 21 алгоритм работы блока определения координат центра вектор-контура.

Невозможность выполнения оператором функции своевременного распознавания объектов на видеоизображениях, одновременно поступающих от нескольких БПЛА предопределило необходимость автоматизации данного процесса. Анализ своевременного уровня развития теории и практики решения подобных проблем свидетельствует о необходимости существенных материальных и временных затрат, что во многих случаях ограничивает распознавание видеообразов (см. Компьютерное зрение. Современный подход. Девид Формайт, Жан Понс. - М.:"Вильямс", 2004. - 928 с.). Основной акцент в предлагаемом техническом решении сделан на сокращении временных затрат на поиск и классификацию заданных объектов.

Реализация заявляемого способа поясняется следующим образом. На подготовительном этапе под фюзеляжем ЛПС устанавливают видеокамеру и фиксируют ее ориентацию. Измеряют ориентацию видеокамеры в трех плоскостях принятых в авиации как крена k_k, тангажа l_k и склонения ζ_k. Измеряют и запоминают коэффициенты дисторсии B₁, B₂, B₃ объектива видеокамеры.

Формируют и запоминают библиотеку эталонных описаний заданных объектов (см. фиг. 3). Последние должны отвечать следующим требованиям:

обеспечивать точное сравнение обнаруженного контура с эталонным описанием объектов;

предоставлять возможность быстрого получения эталонных описаний контуров, близких к обнаруженному;

обеспечивать быструю дискриминацию контуров, точно не принадлежащих к заданным объектам.

Этим требованиям отвечает комплексный контур-вектор Г={γ₀, γ₁, …, γ_k-1} где γ_i=x_i-x_i-1+i(y_i-y_i-1). Такое представление объекта O_i инвариантно относительно сдвига начала координат, а преобразование поворота и масштаба изображения O_i эквивалентны операции умножения и повороту каждого элементарного вектора из состава комплексного вектора-контура (см. фиг. 4). Каждый класс объектов O_i предлагается задавать набором эталонных контуров , состоящих из комплексных вектор-контуров и первых n членов вейвлет-свертки автокорреляционной функции (АКФ) , где n и k - параметры базы эталонов (см. фиг. 3).

В процессе одновременного полета нескольких ЛПС по определенным маршрутам с помощью видеокамер осуществляют поиск заданных объектов. Получаемая видеоинформация от всех БПЛА совместно с навигационными параметрами одновременно передается на пункт управления. Изображения, получаемые на видеокамерах содержат как правило много высокочастотных шумов из-за высоких значений коэффициента усиления ISO, нагрева матрицы, артефактов сжатия JPEG и др., наличие которых негативно сказывается на выделение контуров объектов. Для борьбы с шумами (см. фиг. 6) используют размытие с применением функции Гаусса в качестве весовой функции (см. Fisher, Perkins Walker end Wolfart Spatial Filters-Laplacian of Gaussian, 2003)

где x(m, n) - входное изображение, y(m, n) - выходное изображение, а r - радиус размытия. Чем больше шума на изображении в силу разных причин, тем больше радиус r следует выбирать.

Большая глубина цвета изображения позволяет различать незначительные цветовые переходы, но также сильно увеличивает пространство для алгоритмов классификации. Для увеличения скорости работы алгоритма распознавания глубину цвета изображения уменьшают без потери информации о контурах и переходах. Это достигается с помощью самоорганизующейся карты Кохонена (см. Т. Kohonen. Self-Organizing Maps. - 3. ed. - New York: Springer, 2001. - 502 p.). Нейронные сети Кохонена SOM позволяют подстраиваться под различные условия съемки без участия оператора и обеспечивают кластеризацию многомерных вектор-контуров.

Для поиска границ (выделения контуров объекта) используют оператор Собеля (см. Харкевич А.А. Спектральный анализ. - М.: Физматгиз, 1963 - 432 с.), представляющий собой дискретный дифференциальный оператор, вычисляющий приблизительное значение градиента в каждой точке. Используемая при этом маска применения имеет вид

С помощью последней сворачивают исходное изображение для вычисления приближенных значений производных по горизонтали G_x и вертикали G_y

где Y - исходное изображение, * - обозначает двумерную операцию свертки. В каждой точке изображения приблизительное значение величины градиента можно вычислить используя выражение

В результате применения оператора Собеля выделяют элементы контуров (отрезки). С этой целью используют все особые точки (точки перегиба) и каждая пара соседних точек образует отрезок. При этом отрезки слишком малой и слишком большой длины исключают из рассмотрения.

После выделения множества отрезков находят все замкнутые контура. В начале строится граф, причем вершины, находящихся на расстоянии меньше заданного значения ∈ отожествляется. Далее полученный граф упрощается:

удаляются кратные ребра;

удаляются вершины степени один и инцидентные им ребра (процесс повторяется пока существуют вершины степени один), так как они не могут быть частью замкнутого контура.

Для выполнения операции сравнения найденный контур должен иметь размерность, соответствующую используемой в базе эталонов. Реализацию этого требования осуществляют следующим образом. Исходный контур Г_изм={γ₀, γ₁, …, γ_k′-1} размерностью k′≠k преобразуется в вектор-контур N_изм={n₀, n₁, …, n_k-1} размерности k. При этом возможны две ситуации, когда k′>k и k′<k. В первой из них (k′>k) используется преобразование

В ситуации, когда k′<k, выполняется интерполяция в соответствии с выражением

n_i=γ_j·(1-Q)+γ_j+1·Q,

где I=i·k/k′; j=I, Q=I-j.

Непосредственно сравнение контуров Г_эт и N_изм осуществляют при помощи взаимнокорреляционной функции (см. Введение в контурный анализ и его приложения к обработке изображений и сигналов. Под. ред. Фурман Я.А. - М.: Физматлит, 2003 - 592 с.).

где - вектор-контур, полученный из N_изм путем циклического сдвига элементарных векторов на n позиций, n=0, 1, …, k-1. Значения взаимно-корреляционной функции (ВКФ) отражает степень сходства контуров Г_эт и N_изм при сдвиге N_изм на n позиций. Максимум ВКФ τ_max определяют из выражения

Вычисление ВКФ является трудоемкой операцией (f(k²·m), где m - количество эталонов), k - количество элементарных векторов в составе вектор-контура, поэтому требуется некоторый дескриптор контура, который позволяет быстро (k²·D, D∈[4, 5]) выбрать достаточно близкие эталоны и вычислить ВКФ только для них. В качестве такого дескриптора используют вейвлетную свертку Уолша автокорреляционной функции (см. Введение в контурный анализ; приложения к обработке изображений и сигналов / Я.А. Фурман, А.В. Кревецкий, А.К. Передреев и др. Под ред. Я.А. Фурмана. - 2-е изд., испр. - М.: Физматлит, 2003. - 592 с.). Близость первых четырех-пяти компонент сверток обнаруженного и контуров-эталонов является основанием нахождения для них ВКФ.

После выбора наиболее близких пяти-шести эталонов осуществляют точный анализ путем нахождения ВКФ в соответствии с (6) и поиск τ_max в соответствии с (7). В случае, если τ_max превышает заданное (пороговое) значение, принимается решение об обнаружении j-го объекта, с последующим определением координат центра объекта на кадре в пикселях . Последнее отсчитывают от верхнего левого угла кадра.

Все последующие этапы предлагаемого способа аналогичны соответствующим этапам способа-прототипа. Полученные координаты j-го объекта в кадре преобразуют в направление на объект в системе координат видеокамеры . Данная операция выполняется в соответствии с выражением

где ,

,

F - фокусное расстояние объектива видеокамеры, пересчитанное в пиксели матрицы (кадра), (c_x, c_y)^T - координаты центра матрицы в пикселях, B₁, B₂, B₃ - измеренные коэффициенты дисторсии объектива (см. Szeliski, Richard. Computer: Algorithms and Applications. -Sprintger, 2010). Произведя переобозначение выражение (8) принимает вид

где . Вектор определяется на основе известных параметров видеокамеры и координат j-го объекта на кадре

Таким образом, обозначив получаем уравнение, решением которого является искомый вектор

Численное значение вектора находится методом простых итераций.

Направление на j-й объект определено без учета ориентации видеокамеры относительно корпуса ЛПС и собственно ориентации ЛПС в пространстве. В силу названных причин в предлагаемом способе по аналогии с прототипом на первом этапе учитывают ориентацию видеокамеры относительно ЛПС и положение ЛПС в пространстве. Это достигается путем последовательного перехода из одной системы координат в другую, что удобнее и быстрее выполнять в декартовой системе координат. На втором этапе определения координат объектов учитывают особенности рельефа местности района измерений. Данные этапы достаточно полно освещены в пат. РФ №2419106, МПК G01S 13/46, опубл. 2.8.05.2011 г. и пат. РФ №2458360 МПК G01S 13/46, 5/02, 3/14, опубл. 1.08.2012 г.

Координаты ЛПС , измеренные в момент времени t_i, преобразуют в геоцентрическую систему координат:

В первом преобразовании вектора направления на j-й объект учитывают априорно известную ориентацию видеокамеры относительно ЛПС на основе данных, полученных на подготовительном этапе. Коррекцию осуществляют в плоскости трех углов Эйлера: крена k_k, тангажа l_k и склонения ζ_k. Исходный вектор последовательно перемножают на три соответствующие углам Эйлера матрицы поворота (см. фиг.8)

где,

,

.

На следующем этапе в нормальной системе координат осуществляют преобразование скорректированного вектора направления на j-й объект с целью учета ориентации ЛПС относительно земной поверхности и положения ЛПС в пространстве, что позволяет получить уточненное значение вектора направления на j-й объект . Переход через эту систему координат продиктован тем, что в ней измеряются углы ориентации ЛПС. Получение вектора направления на источник в нормальной системе координат также предпочтительно. Полученный на предыдущем этапе вектор последовательно перемножают на три соответствующие матрицы поворота (относительно каждой из названных осей)

где ,

,

.

Уточненные значения азимута и угла места определяют из выражения (14) следующим образом:

Здесь вектор находится в нормальной системе координат: OX⁺ -направление на север, OY⁺ - на восток, OZ⁺ - к центру Земли.

Для нахождения расстояния между ЛПС и j-м объектом d(H₀)_ij необходимо учесть шарообразный характер поверхности Земли. Иначе, данная задача может быть интерпретирована как нахождение расстояния d(H₀)_ij, на котором вектор пересечется с "круглой" Землей на высоте d(H₀)_ij метров:

где D - дискриминант квадратного уравнения: , R - радиус Земли, R=6370000 м. Следует отметить, что расстояние d(H₀)_ij возможно определить при условии D≥0. В противном случае начинают новый цикл измерений пространственных параметров j-го объекта и .

Нормальная система координат, в которой на данном этапе находится уточненный вектор , расположена с некоторым поворотом, который зависит от широты и долготы местоположения ЛПС. Для окончательного перехода в геоцентрическую систему координат необходимо довернуть вектор на широту ЛПС и π/2 минус долготу ЛПС используя матрицы поворота, а затем перенести центр системы координат в центр Земли используя геоцентрические координаты ЛПС. В результате имеем истинный вектор направления на j-й объект

где ,

.

На этом завершается первый этап измерений.

На следующем этапе результаты вычислений угла места сравнивают с пороговым значением Δβ, определяющим заданную потенциальную точность измерения местоположения объектов. Следует отметить, что угол места на источник соответствует горизонту, соответствует зениту.

Координаты объекта на "круглой" Земле в геоцентрической системе координат по направлению и расстоянию на высоте H₀ по аналогии с прототипом находят с помощью выражения:

Переход от (19) к более удобной географической системе координат осуществляют следующим образом:

широта ,

где ;

долгота

При малых значениях (обеспечивается низкая точность измерения координат объекта), а также при выполнении пороговых условий и отсутствии цифровой карты рельефа местности района измерений, определяют координаты точки пересечения истинного вектора направления на j-й объект с "круглой" Землей, которые далее поступают на выход и используются в качестве искомой величины.

При выполнении пороговых условий и наличия цифровой карты рельефа района измерений становится возможным более точное измерение координат. Порядок выполняемых при этом операций подробно рассмотрен в способе-прототипе.

Результаты вычислений координат преобразуют в удобную географическую систему координат в соответствии с выражением (20). Соответствующее значение H_jδ берется из массива цифровой карты рельефа местности.

Повышение точности определения координат объектов достигается при работе с последовательностью видеокадров и привязанными к ним данными телеметрии (см. фиг.9).

В этом случае для каждого кадра серии вычисляют координаты объекта интереса . При этом обеспечивается высокая точность, поскольку используют результаты измерений координат и ориентации БПЛА, сделанные на всей серии кадров.

Запишем координаты j-го объекта в пикселях на l-м кадре . Тогда координаты j-го объекта в l+1-м кадре примут вид . Известно (см. Szeliski, Richard. Computer: Algorithms and Applications. - Sprintger, 2010), что при съемке плоской поверхности (в данном случае земной поверхности) одной и той же видеокамерой с двух позиций справедливо выражение, связывающее координаты одного и того же объекта на l-м и l+1-м кадрах:

где µ_l+1 - матрица проективного преобразования из l-го кадра в l+1-й.

Определяется взаимным расположением видеокамер в l-й и l+1-й позициях и имеет вид:

.

Определение значения матрицы µ_l+1 выполняют следующим образом. При помощи алгоритма SURF (см. Herbert Bay, Andreas Ess, Tinne Tnytelaars, Luc Van Gool. SURF: Speeded Up Robust Features. - Computer Vision and Image Understanding (CVIU), Vol. 110, №3, 2008, p. 346-359) осуществляют поиск наборов контрастных точек на двух изображениях и . Для каждой точки из набора контрастных точек реализуют вычисление ее характеристики при помощи алгоритма BRIEF (см. М. Colonder, V. Lepetit, С. Strecha, P. Fua. BRIEF: Bonary Robust Independent Elementary Features. ECCV, 2010). Далее путем попарного сравнения вычисленных характеристик точек находят множество пар точек , где - контрастная точка в l-м изображении (кадре), а - найденная как соответствующая ей контрастная точка в l+1-м изображении.

При обнаружении P пар соответствующих друг другу точек , p=1, 2, …, P, то согласно (5) имеют место 2P линейных уравнений относительно восьми неизвестных коэффициентов матрицы µ:

На практике число P достаточно велико по сравнению с минимально необходимым для решения данной системы. Однако среди найденных соответствий контрастных точек могут быть ошибочные совпадения. Данная проблема устраняется при помощи алгоритма RANSAC (см. Martin A. Fischler and Robert С.Bolles (June 1981). Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. of the ACM24 (6):381-395. doi: 10.1145/358669.358692). Алгоритм запускается на фиксированное число итераций, на каждой из которых из n найденных соответствий выбирается s случайных пар. Из выбранных пар получают систему из 2s линейных уравнений, которая решается методом наименьших квадратов. Для полученного решения считается невязка на всем наборе из 2n уравнений. После выполнения фиксированного числа итераций в качестве µ выбирается наилучшее решение.

Таким образом, найдя матрицу проективного преобразования между соседними кадрами становится возможным нахождение координат объекта а последующем l+1-м кадре последовательности. С каждым последующим кадром местоположение j-го объекта уточняется, что и приводит к повышению точности измерений. Переход от координат к вектору направления в координатах видеокамеры на каждом очередном кадре осуществляют в соответствии с выражениями (8)-(11).

Таким образом, в предлагаемом способе определения координат одновременно в M каналах обработки (по числу БПЛА) осуществляют прием видеоизображений контролируемой зоны совместно с информацией о телеметрии БПЛА, обнаружение и распознавание заданных объектов и определение их координат без участия оператора наземного пункта управления, что существенно увеличивает пропускную способность способа и его эффективность. Следует отметить, что полностью не исключается участие оператора НПУ в процессе функционирования системы. Последний в состоянии контролировать качество выполняемой задачи. В отдельных случаях при управлении одним-двумя БПЛА он может взять на себя управление процессами обнаружения и распознавания объектов в соответствии с алгоритмами в способе-прототипе.

Устройство определения координат объектов, содержащее M идентичных БПЛА 1₁-1_M и наземный пункт управления 2, причем каждый БПЛА 1₁-1_M выполнен содержащим последовательно соединенные контроллер 1.6, рулевой привод 1.7 и аэродинамические рули 1.9, автопилот 1.2, группа информационных входов которого соединена с второй группой информационных выходов контроллера 1.6, первая группа информационных входов которого соединена с группой информационных выходов автопилота 1.2, двигательная установка 1.1, группа информационных входов которой соединена с третьей группой информационных выходов контроллера 1.6, первый приемо-передающий модуль 1.8, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера 1.6, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля 1.8, последовательно соединенные блок видеонаблюдения 1.3, первое запоминающее устройство 1.4 и передающий модуль 1.10, блок навигации БПЛА 1.5, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства 1.4, а НПУ 2 выполнен содержащим последовательно соединенные первый блок управления 2.1, второй M-канальный приемо-передающий модуль 2.2 и первое M-канальное устройство обработки и отображения информации 2.6, последовательно соединенные M-канальный приемный модуль 2.3, второй блок управления 2.9 и второе M-канальное устройство обработки и отображения информации 2.4, группа информационных выходов которого является первой выходной шиной 2.5 наземного пункта управления 2, последовательно соединенные второе запоминающее устройство 2.7 и M-канальное устройство распознавания 2.8, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления 2.9, вторая группа информационных выходов является второй выходной шиной 2.11 наземного пункта управления 2, вторая группа информационных входов соединена с группой информационных выходов приемного модуля 2.3, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства 2.7, группа информационных входов которого является входной шиной НПУ 2.

Заявляемое устройство определения координат объектов работает следующим образом (см. фиг. 2). На подготовительном этапе на БПЛА 1₁-1_M под фюзеляжем устанавливают блоки видеонаблюдения 1.3₁-1.3_M соответственно. В качестве последних может быть использована видеокамера EVS (см. Мегапиксельные сетевые камеры EVS. http://www.evs.ru/prod.php?gr=313). С помощью второго блока управления 2.9 (в качестве последнего может быть использован ноутбук, работающий в соответствии с алгоритмом, представленном на фиг. 10) задают исходные данные:

ориентацию видеокамеры относительно борта (k_k, l_k, ζ_k);

измеренные коэффициенты дисторсии объектива видеокамеры B₁, B₂, B₃;

пороговые значения Δβ, Δd и Δδ;

количество итераций при решении уравнения перехода от координат объекта в кадре (x_r, y_r)^T к вектору направления на него ;

число итераций расчета в алгоритме RANSAC;

цифровая карта района измерений с граничными характеристиками рельефа местности.

Кроме того, определяют классы объектов, подлежащих распознаванию. Например, к их числу могут относиться легковые автомобили, грузовые автомобили, самолеты и т.д. При необходимости возможна более глубокая детализация: марка автомобиля, самолета и т.д.

Описание классов объектов осуществляют с помощью комплексных вектор-контуров (ВК). Г={γ₀, γ₁, …, γ_k-1}, где γ_i=x_i-x_i-1+i(γ_i-γ_i-1). Такое представление инвариантно относительно сдвига, а преобразования поворота и масштаба изображения эквивалентны умножению и повороту каждого элементарного вектора ВК (см. фиг. 4). Получение эталонных ВК осуществляют в благоприятных условиях на однородном фоне. В качестве последнего может выступать ровное поле, взлетная полоса аэродрома и т.д. В качестве дескриптора используют первые n элементов вейвлетных сверток АКФ контуров. Для этого применяют вейвлеты Уолша из-за высоких дискриминирующих свойств. Последние совместно с соответствующими значениями используют в качестве эталонного описания объекта. Вариант представления эталонов объектов приведен на фиг. 3. Полученные эталонные описания объектов по входной шине 2.10 НПУ 2 записывают во второе запоминающее устройство 2.7. Последний содержит М идентичных блоков памяти 2.7₁-2.7_M, в которых дублируется одна и та же информация.

Управление взлетом, полетом и посадкой БПЛА 1₁-1_M осуществляют с первого автоматизированного рабочего места (АРМ) наземного пункта управления 2, состоящего из первого блока управления 2.1, второго приемопередающего модуля 2.2 и первого устройства обработки и отображения информации 2.6. По аналогии с прототипом данную операцию осуществляют по первому радиоканалу на частотах 0,9-0,92 МГц с использованием модулей 1.8_m и 2.2. Сигналы управления блока 2.1 через модули 2.2 и 1.8_m поступают на вход контроллера 1.6_m. Далее с выхода блока 1.6_m они следуют на группу входов двигательной установки 1.1_m и через рулевой привод 1.7_m на аэродинамические рули 1.9_m.

Сигнал управления, поступающий на вход блока 1.1_m, обеспечивает включение/выключение двигателя, изменение скорости вращения винта и др. С помощью команд, подаваемых на аэродинамические рули 1.9_m через блок 1.7_m, изменяют углы наклона крыльев, конфигурацию их поверхности и другие параметры управления движением БПЛА 1₁-1_M.

Автопилот 1.2_m обеспечивает необходимую стабилизацию положения БПЛА 1₁-1_M в пространстве на заданной блоком 2.1 высоте, парирование ветровых возмущений, движение по заданному маршруту и т.д. Воздействие автопилота 1.2 на двигательную установку 1.1_m и через рулевой привод 1.7_m - на аэродинамические рули 1.9_m осуществляется через контроллер 1.6_m. Последний формирует по исходным данным блока 1.2_m необходимые команды управления функциональным узлам БПЛА 1₁-1_M.

Непосредственное участие в измерении координат объектов на борту БПЛА 1₁-1_M принимают блок видеонаблюдения 1.3_m, первое запоминающее устройство 1.4_m, блок навигации БПЛА 1.5_m и передающий модуль 1.10_m, а в наземном пункте управления 2 - второе автоматизированное рабочее место в составе приемного модуля 2.3, второго устройства обработки и отображения информации 2.4, второго блока управления 2.9, второго запоминающего устройства 2.7 и устройства распознавания 2.8. Следует отметить, что блоки 2.3, 2.4, 2.7 и 2.8 выполняют M канальными.

При наличии данных о положении и ориентации БПЛА 1_m существует возможность в оперативном режиме обнаруживать, распознавать и принимать решение на определение координат объектов (см. фиг. 1). Изображение, полученное блоком видеонаблюдения 1.3_m (IP камерой EVS), в цифровом формате передают на НПУ 2 с помощью блоков 1.10_m и 2.3_m в диапазоне 2,4 ГГц на соответствующей БПЛА 1_m частоте. Скорость передачи информации составляет 4 Мбит/с.При пересылке данных в формате JPEG возможна передача двух-четырех кадров высокого разрешения в секунду или десяти-двенадцати кадров низкого разрешения в секунду при поддерживаемом разрешении 1600×1200 или 640×480 (для камеры EVS) соответственно. Одновременно видеоинформация со всех находящихся в воздухе БПЛА передается на НПУ2. Обнаружение, распознавание и определение координат объектов осуществляют на втором автоматизированном рабочем месте (блоки 2.3, 2.4, 2.7, 2.8 и 2.9) в соответствующих m-ных каналах обработки, на которые и подают видеопоток с блоков 1.3_m в реальном масштабе времени (см. фиг. 1 и 5). Получаемое БПЛА 1_m изображение позволяет с помощью блоков 2.7_m и 2.8_m обнаружить заданные объекты и выполнить операцию по их распознаванию в соответствии с выражениями (1)-(7), ас помощью блока 2.9 с формировать команду на местоопределение обнаруженного объекта соответствующему m-му каналу обработки 2.4_m блока 2.4_m. Благодаря данным телеметрии БПЛА 1_m и положению объекта на текущем кадре m-й канал блока 2.4_m в состоянии с некоторой погрешностью рассчитать географические координаты интересующего объекта. Распараллеливание выполнения операций обнаружения, распознавания и определения координат объектов по источникам видеосигналов (в качестве последних выступают БПЛА) обеспечивает сокращение временных затрат на их выполнение.

В функции блока 1.4_m входит совместная запись кадров видеоизображения с блока 1.3_m и соответствующих им навигационных данных БПЛА 1_m с выхода блока 1.5_m.

Все функциональные элементы и блоки предлагаемого устройства, широко освещены в литературе и серийно выпускаются.

В качестве БПЛА 1₁-1_M целесообразно использовать серийно выпускаемый ООО "Специальный Технологический Центр" город Санкт-Петербург БПЛА "Орлан 10" (см. http://bla-orlan.ru/default/catalog/ orlan10.html).

Масса полезной нагрузки БПЛА составляет 5 кг, способ старта - с разборной катапульты, приземление - на парашюте. Воздушная скорость БПЛА 90-150 км/ч, максимальная продолжительность полета - 16 часов, максимальная дальность - 600 км, максимальная высота - 5 км.

Блок видеонаблюдения 1.3 может быть реализован с помощью цифровой IP видеокамеры EVS. Блок навигации 1.5 может быть реализован в соответствии с пат. РФ №2371733 или пат. РФ №2374659.

Одновременное управление БПЛА 1₁-1_M "Орлан-10" реализуют с первого АРМ по низкоскоростным дуплексным каналам связи на частотах 900-920 МГц в режиме псевдослучайной перестройки рабочей частоты. По этим каналам (тракты 1.8₁-1.8_M и блок 2.2 соответствующих БПЛА) осуществляют задание маршрута полета, высоту полета и порядок облета: проход на высоте или барражирование и т.д. Управляющая информация формируется с помощью блока 2.1 для всех БПЛА 1₁-1_M. В качестве блока 2.1 может использоваться ноутбук.

Видеоизображения объектов на НПУ 2 с борта БПЛА 1₁-1_M одновременно поступают по высокоскоростным симплексным каналам на частотах 2000-2500 МГц на второе АРМ. Скорость передачи информации в каждом канале составляет 4 Мбит/с. Дальность связи зависит от высоты полета и местных условий и в среднем составляет 100-130 км. С помощью второго АРМ осуществляют обнаружение, распознавание и определение координат заданных объектов без участия оператора. В ситуациях, когда функционирование заявляемого устройства затруднено (заданные объекты трудно различимы с фоном, например находятся в лесу и т.п.) предусмотрено управление системой оператором с помощью блока 2.9 по описанному в прототипе алгоритму.

Второе устройство обработки и отображения информации 2.4 (см. фиг.11) содержащее M идентичных каналов 2.4₁-2.4_M, предназначено для определения координат объектов (решение о измерении принимает устройство распознавания 2.8, а формирование команды осуществляет второй блок управления 2.9), реализации операций в соответствии с выражениями (8)-(22), представления результатов измерений в заданной форме. Каждый канал 2.4_m выполнен аналогично соответствующему блоку устройства-прототипа и содержит первый вычислитель 1.m, второй вычислитель 2.m, третий вычислитель 3.m, четвертый вычислитель 4.m, пятый вычислитель 5.m, шестой вычислитель 6.m, седьмой вычислитель 7.m, первый блок памяти 8.m, генератор синхроимпульсов 9.m, восьмой вычислитель 10.m, девятый вычислитель 11.m, блок коммутации 12.m, блок обработки изображения 13.m, третий блок управления 14.m, второй блок памяти 15.m, блок усреднения координат 16.m, блок сравнения 17.m и блок индикации 18.m.

Работу второго устройства обработки и отображения информации 2.4 рассмотрим на примере одного из каналов 2.4_m.

На подготовительном этапе с помощью блока управления 2.9 (в качестве последнего может быть использован ноутбук, работающий в соответствии с алгоритмом, представленном на фиг.10) задаются исходные данные:

ориентация видеокамеры относительно борта (k_k, l_k, ζ_k);

измеренные коэффициенты дисторсии объектива видеокамеры B₁, B₂, B₃;

пороговые значения Δβ, Δd и Δδ;

количество итераций при решении уравнения перехода от координат объекта в кадре (x_r, y_r)^T к вектору направления на него ;

число итераций расчета в алгоритме RANSAC;

цифровая карта района измерений с граничными характеристиками рельефа местности.

В процессе работы видеоизображение считывается блоками 2.8_m, 2.9 и 12.m. При обнаружении m-ным каналом распознавания блока 2.8 за данного объекта информация о нем с выхода блока 2.8_m и преобразованная в блоке 2.9 поступает на первую группу информационных входов m-ного канала седьмого вычислителя 7.m в виде координат . В функции блока 7.m (см. фиг. 12 и 13) входит преобразование координат объекта в пикселях в вектор направления на него в системе координат видеокамеры 1.3 в соответствии с выражениями (8)-(11).

Одновременно информация о пространственном положении БПЛА (B_lps, L_lps, H_lps)_i, а также и поступает на группу информационных входов первого вычислителя 1.m. В его функции входит преобразование пространственных параметров БПЛА в геоцентрическую систему координат в соответствии с выражением (12).

Результаты вычислений следуют на первую группу информационных входов второго вычислителя 2.m, а на вторую группу его информационных входов - значение с группы информационных выходов блока 7.m. В функции вычислителя 2.m входит коррекция вектора направления на j-й объект на основе априорно известной ориентации видеокамеры 1.3_m относительно борта БПЛА 1_m. Последняя поступает с первой группы информационных входов устройства 2.4 на входы первого блока памяти 8.m, представляющего собой буферное запоминающее устройство. С информационных выходов блока 8.m значения (k_k, l_k, ζ_k) следуют на третью группу информационных входов второго вычислителя 2.m. Скорректированный вектор находят путем последовательного умножения вектора на три соответствующие углам Эйлера матрицы поворота в соответствии с (13).

Значения скорректированного вектора с выходов блока 2.m поступают на первую группу информационных входов третьего вычислителя 3.m. В его функции входит определение уточненного вектора направления на j-й объект с учетом измеренных в момент времени t_i пространственных углов БПЛА: крена , тангажа , курсового угла , и склонения . Для этого используют нормальную систему координат. С учетом вышесказанного на вторую группу информационных входов блока 3.m подают значения , характеризующие ориентацию БПЛА 1_m в пространстве в момент получения кадра видеоизображения с j-м объектом. Определение уточненного вектора направления в блоке 3.m выполняют в соответствии с выражением (14).

Уточненное значение вектора направления на j-й объект с информационных выходов блока 3.m далее следует на первую группу информационных входов четвертого вычислителя 4.m. В функции последнего входит определение уточненных значений азимутального угла , угла места и удаления j-го объекта от БПЛА 1_md(H₀)_ij. Пространственные углы и находят в соответствии с выражениями (15) и (16) соответственно. Расстояние d(H₀)_ij между БПЛА 1_m и j-м объектом определяют в соответствии с (17). Для обеспечения вычислений на вторую группу информационных входов блока 4.m поступает значение , с первой группы информационных входов устройства 2.4. Радиус Земли известен, а его значение содержится в блоке 4.m. В случае невозможности определить расстояния d(H₀)_ij на выходе обнуления четвертого вычислителя 4.m формируется сигнал, который поступает на входы обнуления первого 1.m, второго 2.m и третьего 3.m вычислителей. В результате значения векторов , и в этих блоках обнуляются, а заявляемое устройство начинает новый цикл работы.

Для измерения d(H₀)_ij значение с группы информационных выходов блока 3.m через блок 4.m поступает на группу информационных входов пятого вычислителя 5.m. В его функции входит преобразование уточненного вектора направления на j-й объект, находящегося в нормальной системе координат, в истинный вектор направления в геоцентрической системе координат. Данную операцию в блоке 5.m осуществляют в соответствии с выражением (18). Для этого на вторую группу информационных входов пятого вычислителя 5.m подают значения и с первой группы информационных входов блока 2.4.

На следующем этапе работы заявляемого устройства осуществляют преобразование вектора . Последний поступает на вторую группу информационных входов шестого 6.m и пятую группу информационных входов восьмого 10.m вычислителей и вторую группу информационных входов третьего блока управления 14.m.

Назначение шестого вычислителя 6.m состоит в определении координат точки пересечения вектора с "круглой" Землей и преобразовании геоцентрических координат j-го объекта в географические . Первую из названных функций в блоке 6.m выполняют в соответствии с выражением (19). Для этого значение , сформированное первым вычислителем 1.m, поступает на первую группу информационных входов шестого вычислителя б.га. Кроме того, значение d(H₀)_ij, найденное блоком 4.m, через блок 5.m поступает на вторую группу информационных входов блока 6.m. Далее осуществляют переход от геоцентрического вектора координат j-го объекта к его географическим координатам B_j и L_j. в соответствии с (20). Результаты вычислений с выходов блока б.га следуют на вторую группу информационных входов блока коммутации 12.m.

Одновременно (с блоком 4.m) в блоке 10.m в два этапа осуществляют определение координат j-го объекта с заданной точностью. Данную операцию выполняют совместно с блоком управления 14.m и блоком памяти 15.m. На подготовительном этапе в блок памяти 15.m записывают цифровую карту рельефа местности района измерений. Данная операция выполняется с помощью блока 2.9 по первой группе информационных входов блока 2.4. Одновременно по этой же шине в блок управления 14.m задают граничные значения матрицы высот (B_a, L_a) и (B_b, L_b) и количество точек разбиения J, а в блок 10.m - количество шагов сканирования по вектору на предварительном Δd и конечном Δδ этапах. В блоке 15.m осуществляют упорядоченную (по заданным адресам) запись цифровой карты рельефа местности. Матрица охватывает участок земной поверхности, ограниченный координатами (B_a, L_a) и (B_b, L_b). Назначение блока управления 14.m состоит в преобразовании части вектора , ограниченного точками и (B_j, L_j) в линейку адресов {A_i,j,δ}, соответствующих равномерно распределенным по его длине высотам {H_i,j,δ} рельефа местности. С этой целью на первую группу информационных входов блока 14.m поступают координаты БПЛА 1_m . На вторую группу информационных входов блока управления 14.m подают значение вектора направления на j-й объект с выходов блока 5.m. На третьей группе информационных входов блока управления 14.m присутствует значение координат , поступившее с выхода шестого вычислителя 6.m. В блоке 14.m названный отрезок вектора преобразуют в последовательность адресов {A_i,j,δ}, которые поступают на адресные входы второго блока памяти 15.m. Последние используются для формирования на его входе адресной линейки A_i,j,δ. В результате на третью группу информационных входов восьмого вычислителя 10.m поступает последовательность высот {H_i,j,δ} рельефа местности, соответствующая заданному отрезку истинного вектора направления . Емкость последовательности высот {H_i,j,δ} определяется значением A=max{J,δ), где J=d(H₀)_ij/Δd, δ=Δd/Δδ. На фиг.14 приведен алгоритм работы блока 10.m по поиску предварительного и точного (с заданной точностью) определения координат объектов .

Геоцентрические координаты j-го объекта далее поступают на информационные входы девятого вычислителя 11.m. В блоке 11.m выполняют преобразование геоцентрических координат в географические в соответствии с выражением (21).

Результаты вычислений с выхода блока 11.m поступают на первую группу информационных входов коммутатора 12.m.

Решение о том, какие координаты пойдут на вход блока 16.m (приблизительные , полученные на "круглой" Земле или точные с учетом рельефа местности) принимает блок сравнения 17.m. На подготовительном этапе (с использованием блока 2.9) в блок сравнения 17.m записывают значение Δβ, определяющее заданную потенциальную точность определения координат объектов. В процессе работы заявляемого устройства в блоке 17.m выполняют сравнение очередного измеренного значения с пороговым значением Δβ. Если текущее значение оказалось меньше порогового уровня Δβ, блок 17.m формирует управляющий сигнал, поступающий на вход управления блока коммутации 12.m. В результате значение координат с выхода блока 6.m через блок 12.m поступает на группу информационных входов блока усреднения координат 16.m. В противном случае на вход блока 16.m поступает значение с выхода блока 11.m.

При возникновении ситуации, при которой отсутствует информация о рельефе местности и блок 10.m работает по алгоритму (см. фиг.14) в соответствии с выражением (20), а на вход блока 16.m поступают приблизительные координаты j-го объекта с выхода блока 6.m. Синхронность выполнения всех операций обеспечивает генератор синхроимпульсов 9.m.

При оценке координат по одному или по первому кадру видеоизображения объекта на выходе блока 13.m отсутствует управляющий сигнал. В блоке 16.m операция усреднения не выполняется, а значения координат j-го объекта поступают на вход блока индикации 18.m и далее на первую выходную шину 2.5 совместно со временем t_i обнаружения объекта. Кроме того, результаты измерений сохраняются в его буферной памяти. На этом заканчивается этап работы устройства по одному кадру видеоизображения.

На следующем этапе (на очередном кадре) с помощью блока анализа видеоизображения 13.m выполняют анализ поступившего кадра на предмет наличия в нем изображения заданного j-го объекта. Алгоритм работы устройства меняется при обнаружении в последующем кадре наблюдаемого ранее j-го объекта. В этом случае осуществляют многократное (по числу кадров с изображением объекта) измерение его координат с последующим их усреднение в блоке 16.m, что позволяет существенно повысить точность измерений. Основным элементом, реализующим эти измерения, является блок обработки изображения 13.m. Если блоком 13.m на очередном кадре j-й объект не обнаружен, результаты измерений его усредненных координат остаются неизменными, поступают на информационные входы блока индикации 18.m и далее на первую выходную шину 2.5.

При обнаружении j+1-го объекта все вышеназванные операции повторяются.

Блок 13.m предназначен для решения следующих задач (см. фиг. 15 и 16):

поиска контрастных точек на изображении методом SURF;

вычисления характеристик контрастных точек методом BRIEF;

сравнения с контрастными точками предыдущего кадра и принятие решения о присутствии заданного объекта в текущем кадре;

при повторном обнаружении заданного объекта - для формирования управляющего сигнала блоку 16.m о необходимости усреднения результатов измерений;

формирования матрицы проективного преобразования методом RANSAC с последующим уточнением координат j-го объекта на l+1-м кадре.

Данные функции блок 13.m выполняет в соответствии с выражениями (22) и (23). В случае принятия решения блоком 13.m о том, что в очередном l+1-м кадре присутствует изображение j-го объекта, ранее присутствовавшее на l-м кадре, последний формирует управляющий сигнал блоку 16.m. В результате координаты объекта, полученные на l+1-м кадре запоминаются совместно с результатами, полученными на 1-м кадре. Далее в блоке выполняется операция усреднения координат по двум кадрам, а результаты высвечиваются в блоке индикации 18.m. Наличие j-го объекта во всех последующих кадрах приводит к очередному измерению его координат или с последующим усреднением результатов. При первом пропадании изображения объекта в кадре результаты усреднения его координат фиксируется (предыдущие измерения стираются), а в блоке индикации 18.m высвечиваются усредненные координаты j-го объекта, которые также поступают на выходную шину 2.5.

Первый 1.m, второй 2.m, третий 3.m, четвертый 4.m, пятый 5.m и седьмой 7.m вычислители предназначены для определения истинного вектора направления на j-й объект в геоцентрической системе координат, а также и и удаление объекта от БПЛА d(H₀)_ij (см. фиг.11). Это достигается благодаря учету ориентации видеокамеры относительно борта БПЛА 1₁-1_M и определению места объекта в кадре видеокамеры 1.3m и собственно угловой ориентации БПЛА 1₁-1_M в пространстве. Каждый из вычислителей выполняет строго определенные в выражениях (8-18) операции, реализация которых сложностей не вызывает. Реализация этих блоков известна (см. пат. РФ №2458360, опубл. 10.08.2012 г.), выполняются на постоянных запоминающих устройствах К541 и К500 сериях микросхем. Алгоритмы работы вычислителей 1.m, 2.m, 3.m, 4.m и 5.m приведены в описании соответствующих блоков устройства-прототипа. На фиг. 12-13 приведен вариант реализации блока 7 на дискретных элементах в соответствии с выражениями (8)-(11). Для уменьшения массогабаритных характеристик, потребляемого тока блоки с 1.m по 5.m и 7.m целесообразно реализовать на специализированном процессоре TMS320c6416 (см. TMS320c6416: http://focus/ti/com/docs/prod/folders/print/TMS320c6416.html).

Шестой 6.m, восьмой 8.m и девятый 11.m вы числители реализуются аналогично соответствующим блокам в пат. РФ №2458360, опубл. 10.08.2012 г. Шестой вычислитель 6.m предназначен для определения координат точки пересечения вектора с "круглой" Землей и преобразования геоцентрических координат в географические в соответствии с (19) и (20).

Реализация блока 6.m трудностей не вызывает. Может быть реализован на постоянных запоминающих устройствах К541 и К500 сериях микросхем. Алгоритм работы приведены на фиг.17.

Восьмой вычислитель 10.m предназначен для определения местоположения объекта с заданной точностью в геоцентрической системе координат .Данную функцию блок 10.m выполняет в два этапа в соответствии с алгоритмом, приведенном на фиг.14 и выражением (21). Может быть реализован по аналогии с соответствующим блоком (см. пат. РФ №2458360, опубл. 10.08.2012 г.) на базе 16-ти разрядного микропроцессора К1810 ВМ86.

Девятый вычислитель 11.m предназначен для преобразования геоцентрических координат объекта в географические в соответствии с алгоритмом на фиг. 18 и выражением (20). Реализация блока 11.m известна и трудностей не вызывает. Блок 11.m может быть реализован на дискретных элементах на базе ТТЛ-уровней сигналов, например 555, 1533 сериях микросхем и др.

Третий блок управления 14.m предназначен для преобразования части вектора , ограниченной точками и (B_j, L_j) в линейку адресов {A_i,j,δ}, соответствующих равномерно распределенным высотам {H_i,j,δ} рельефа местности. Реализация блока 14.m известна и трудностей не вызывает. Может быть реализован на микропроцессорной сборке с достаточным быстродействием (см. Шевкоплес Б.В. Микропроцессорные структуры. Инженерные решения: Справочник.- 2-е изд., перераб. и доп. - М.: Радио и связь, 1990. - 512 с.), в которой реализован алгоритм, приведенный на фиг. 19. Последний определяет порядок выполнения операций по предварительному определению координат объектов. В режиме измерения координат с заданной точностью порядок работы блока 14.m сохраняется (алгоритм имеет аналогичный вид).

Блок обработки изображения 13.m (см. фиг. 14 и 15) свои функции выполняет в соответствии с выражениями (22) и (23). Блок 13.m содержит последовательно соединенные блок поиска контрастных точек 23.m, блок вычисления характеристик контрастных точек 24.m, блок памяти 27.m, блок анализа 25.m, формирователь исходных данных 26.m, блок статистической обработки 29.m, умножитель 30.m и делитель 31.m, группа информационных выходов которого является первой группой информационных выходов блока обработки изображения 13.m, первая группа информационных входов которого соединена с группой информационных входов блока поиска контрастных точек 23.m, а вторая группа информационных входов соединена со второй группой информационных входов умножителя 30.m, вторая группа информационных выходов блока вычисления характеристик контрастных точек 24.m соединена со второй группой информационных входов блока анализа 25.m, и датчик случайных чисел 28.m, группа информационных выходов которого соединена со второй группой информационных входов блока статистический обработки 29.m, а синхровходы всех блоков с 23.m по 31.m объединены и соединены с входом синхронизации блока обработки изображения 13.m.

Видеоизображение с соответствующей m-ной группы информационных выходов блока 2.3_m поступает на группу информационных входов блока поиска контрастных точек 23.m. В функцию блока 23.m входит реализация известного алгоритма SURF. Обнаруженные контрастные точки на l+1-м кадре с описанием их взаимного местоположения поступают на группу входов блока вычисления характеристик контрастных точек 24.m, которые находят в соответствии с алгоритмом BRIEF. В задачу последнего входит вычисление битовых векторов (наборов бит), описывающих распределение яркости изображения в окрестности данной контрастной точки (x_r, y_r)^T.

Характеристики контрастных точек с описанием их взаимного местоположения одновременно поступают на группы входов блока памяти 27.m (для использования в следующем кадре) и блока анализа 25.m. В функции блока 25.m входит сравнение изображений на предыдущем 1-м (поступившем с выходов блока 27.m) с текущем l+1-м кадрах. Данную операцию выполняют по контрастным точкам: их взаимному местоположению на кадрах и характеристикам. Описание совпадающих пар контрастных точек из l-го и l+1-го кадров поступают на группу информационных выходов формирователя исходных данных 26.m. Блок 26.m обеспечивает преобразование полученных блоком 25.m данных к виду, необходимому для нормальной работы блока 29.m.

Блок статистической обработки 29.m предназначен для решения системы уравнений (16). Данную функцию блок 29.m выполняет на основе известного алгоритма RANSAC и данных, поступающих на его первую группу информационных входов с группы выходов блока 26.m. В процессе работы используют последовательность случайных чисел, формируемых блоком 28.m. Решение названной системы уравнений позволяет определять коэффициенты искомой матрицы проективного преобразования.

В блоке 30.m осуществляют умножение найденной блоком 29.m матрицы проективного преобразования на вектор координат объекта на l-м кадре , что позволяет получить его координаты на l+1-м кадре (см. выражение (15)). Значение вектора поступает со второй группы информационных выходов блока 9.m. Блок 31.m предназначен для деления полученного вектора координат на константу K (его третий элемент z).

Блок 13.m может быть реализован на микропроцессорной сборке с достаточным быстродействием (см. Шевкоплес Б.В. Микропроцессорные структуры. Инженерные решения: Справочник. - 2-е изд., перераб. и доп. - М.: Радио и связь, 1990. - 512 с.), в которой реализован алгоритм, приведенный на фиг. 16.

Реализацию функций блоков 6.m - 17.m целесообразно осуществить с помощью второго сигнального процессора (см. TMS320c6416: http://focus/ti/com/docs/prod/folders/print/TMS320c6416.html).

Кроме того, второе устройство обработки и отображения информации 2.4 может быть реализован на многоядерном персональном компьютере. В качестве минимальных требований каждому из каналов обработки можно определить следующее: процессор Core i5 2000 МГц, 1 ГБ оперативной памяти, 200 МБ свободного пространства на жестком диске. Программная составляющая: операционная система Windows ХР SP2 и выше, библиотека .NetFrameWork 4.0, цифровая карта местности с информацией о рельефе и формате, совместимом с картами "Группы "Панорама".

Многоканальное (M-канальное) устройство распознавания реализуется в соответствии со структурной схемой, приведенной на фиг. 20. Оно предназначено для обнаружения и распознавания в видеопотоке заданных объектов и определение их координат в системе координат видеокамеры. Устройство распознавания содержит генератор синхроимпульсов 32, мультиплексер 48 и M идентичных каналов распознавания 2.8₁-2.8_M, группы информационных входов которых являются второй группой информационных входов устройства распознавания 2.8, первые группы информационных выходов соединены с соответствующими группами информационных входов мультиплексера 48, группа информационных выходов которого является первой группой информационных выходов устройства распознавания 2.8, вторые группы информационных выходов каналов распознавания 2.8₁-2.8_M являются второй группой информационных выходов устройства распознавания и второй выходной шиной 2.11 наземного пункта управления, вторые группы информационных входов каналов распознавания 2.8₁-2.8_M являются первой группой информационных входов устройства распознавания 2.8, входы синхронизации каналов распознавания 2.8₁-2.8_M объединены и соединены с тактовым входом мультиплексера 48 и с выходом генератора синхроимпульсов 32, группы адресных выходов каналов распознавания 2.8₁-2.8_M являются группами адресных выходов устройства распознавания 2.8, а каждый канал распознавания 2.8₁-2.8_M содержит последовательно соединенные шумоподовитель 35, блок поиска границ контуров 36, блок нормирования 37, вычислитель автокорреляционной функции 38, вычислитель свертки 39, коррелятор 40, первый блок памяти 41, первый блок поиска максимума 42, второй блок памяти 43, и коммутатор 34, вторая группа информационных входов которого соединена с группой информационных выходов счетчики импульсов 56, счетный вход которого является входом синхронизации канала распознавания 2.8₁-2.8_M, выход обнуления соединен со входом управления коммутатора 34, группы информационных выходов которого является группой адресных выходов канала распознавания 2.8₁-2.8_M, последовательно соединенный вычислитель взаимнокорреляционной функции 44, второй блок поиска максимума 45, блок сравнения 46 и блок определения координат центра вектор-контура 47, причем группа информационных выходов блока нормирования 37 соединена со второй группой информационных входов вычислителя ВКФ 44, первая группы информационных входов которого соединена со второй группой информационных входов коррелятора 40 и является второй группой информационных входов канала распознавания 2.8₁-2.8_M, первая группа информационных входов блока определения координат центра вектор-контура 47 соединена с группой информационных выходов блока поиска границ контуров 37, а вторая группа информационных входов блока 47 соединена с группой информационных выходов шумоподавителя 35, вторая группы информационных выходов блока сравнения 46 является второй группой информационных выходов канала распознавания 2.8₁-2.8_M, а входы синхронизации шумоподавителя 35, блока поиска границ контуров 36, блока нормирования 37, вычислителя автокорреляционной функции 38, вычислителя свертки 39, коррелятора 40, первого и второго блоков памяти 41 и 43 соответственно, первого 42 и второго 45 блоков поиска максимума, вычислителя ВКФ 44, блока сравнения 46 и блока определения координат центра вектора-контура 47 объединены и соединены с счетным входов счетчика импульсов 33.

Работу устройства распознавания 2.8 рассмотрим на примере работы одного из каналов 2.81. Видеопоток от первого БПЛА 1₁ по каналу связи через блоки 1.10₁ и 2.3₁ поступает на вход первого 2.8₁ канала распознавания (на вход шумоподавителя 35.1). В функции блока 35.1 входит подавление высокочастотного шума путем размытия по Гауссу (см. выражение (1)) в качестве весовой функции и уменьшение глубины цвета. Полноцветные изображения для увеличения эффективности обработки переводят из цветового пространства RGB в HSV. Далее в обработке изображения применяют самоорганизующиеся карты Кохонена (нейтронные сети Кохонена).

Преобразованный видеопоток с выхода блока 35.1 поступает на группу информационных входов блока поиска границ контуров 36.1. В последнем, для поиска границ объекта на изображении используют оператор Собеля (см. Харкевич А.А. Спектры и анализ. - М.: Физматгиз, 1963. - 432 с.). Представляет собой дискретный дифференциальный оператор, вычисляющий приближенное значение градиента цвета в каждой точке (см. выражения (2)-(4)). После применения оператора Собеля выделяют элементарные составляющие (отрезки) контуров с последующим поиском замкнутых контуров.

Найденное в блоке 36.1 описание комплексного вектор-контура Г_изм={γ₀, …, γ_k-1] поступает на информационные входы блока нормирования 37.1. Блок 37.1 предназначен для приведения вектор-контура Г_изм к размерности, соответствующей используемой в базе эталонов в устройстве 2.7₁. Данную операцию в блоке 37.1 выполняют в соответствии с выражением (5).

На следующем этапе работы устройства 2.8 значение отнормированного вектор-контура N_изм поступает на группу информационных входов вычислителя автокорреляционной функции 38.1 и далее на вычислитель свертки 39.1. С помощью блока 38.1 находят АКФ вектор-контура N_изм в соответствии с выражением . Основной задачей блока 39.1 является на основе полученного значения АКФ найти вейвлетную свертку Уолша (см. Залмазон Л.А. Преобразование Фурье, Уолша, Харра и их применение в управлении, связи и других областях. - М.: Наука, 1989. - 496 с.). В результате с помощью блоков 38.1 и 39.1 находят дескриптор , с помощью которого обеспечивают быстрый подбор близких к N_изм эталонов вектор-контуров Г_эт.

Найденное в блоке 39.1 значение свертки АКФ обнаруженного вектор-контура N_изм поступает на первую группу информационных входов коррелятора 40.1. На вторую группу его информационных входов поочередно поступают значения эталонных описаний вектор-контуров заданных объектов. Результаты выполнения операции комплексного умножения в блоке 40.1 поступают на группу информационных входов первого блока памяти 41.1 по адресу, определяемому счетчиком импульсов 33.1.

Порядок определения адреса записи в блок 41.1 следующий. С приходом импульса генератора 32.1 на счетный вход счетчика импульсов 33.1 содержимое последнего увеличивается на единицу. На выходе блока 33.1 формируется кодовая комбинация, соответствующая его содержимому, которая через коммутатор 34.1 поступает на адресный вход соответствующего блока памяти 2.7₁ устройства 2.7. Эталонное описание вектор-контура и дескриптор из соответствующего элемента памяти поступают на информационные входы блоков 44.1 и 40.1.

В результате в блоке 40.1 выполняется операция в соответствие с выражением: , полученное значение записывают по соответствующему адресу в блок 41.1, определяемому содержимым счетчика 33.1. С приходом очередного импульса генератора 32 содержимое счетчика 33.1 увеличивается на единицу, из следующей ячейки памяти блока 2.7₁ изымается очередное значение эталонного описания вектор-контура, которое поступает на информационные входы блоков 40.1 и 44.1. Определяют очередное значение η_i+1, которое записывают по следующему i+1-му адресу блока 41.1. Данный процесс продолжается до тех пор, пока содержимое счетчика 33.1 не достигнет максимального значения. На его выходе обнуления формируется управляющий сигнал, который обнуляет содержимое счетчика и одновременно поступает на вход управления коммутатора 34.1, переключая его. В результате содержимое счетчика 33.1 через блок 34.1 далее не проходит. Емкость счетчика 33.1 выбирается равным количеству эталонов, хранящихся в блоках памяти 2.7₁-2.7_M устройства 2.7.

С поступлением очередного синхроимпульса блока 32 на управляющий вход первого блока памяти 41.1 с его информационных выходов снимается информация о значении η_i+1 и адресе ячейки памяти, в которую это значение было записано. Названные величины поступают на группу информационных входов первого блока поиска максимума 42.1. В его функцию входит выбор заданного числа эталонных описаний, например четырех или пяти, с наибольшими значениями η. Соответствующие им адреса ячеек памяти блока 41.1 с приходом очередного импульса блока 32 записываются в блок 43.1.

После обнуления счетчика 33.1 и переключения коммутатора 34.1 адреса ячеек памяти с максимальными значениями η с группы выходов блока 43.1 через блок 34.1 последовательно поступают на адресные входы блока 2.7₁. В результате наиболее близкие эталонные значения вектор-контуров последовательно поступают на вторую группу информационных входов вычислителя ВКФ 44.1. На первой группе блока 44.1 присутствует значение вектор-контура N_изм обнаруженного объекта, поступающее с группы информационных выходов блока нормирования 37.1.

В функции блока 44.1 входит нахождение значения ВКФ τ(n) двух вектор-контуров и N_изм в соответствии с выражением (6).

С приходом очередного импульса блока 32 значение τ(n) поступает на группу информационных входов второго блока поиска максимума 45.1. В его функцию входит определение эталонного вектор-контура, которому соответствует максимальное значение ВКФ τ_max в соответствии с выражением (7). Найденное в блоке 45.1 τ_max следует на группу информационных входов блока сравнения 46.1. На подготовительном этапе задается пороговый уровень τ_max в соответствии с критерием Неймана-Пирсона (см. А.А. Горелик Методы распознавания: Учебн. Пособие для ВУЗов по специальности «Автоматизированные системы обработки информации и управления», 2004 г.). При выполнении пороговых условий τ_max≥τ_пор принимается решение об обнаружении заданного объекта, соответствующего эталонному описанию с максимальным значением ВКФ τ_max. Со второй группы информационных выходов блока 46.1 на вторую выходную шину 2.11 НПУ поступает информация о номере эталонного описания обнаруженного объекта. При необходимости, данные о номере эталонного описания объекта преобразуют в непосредственную информацию об объекте.

Кроме того, на первом выходе блока 46.1 формируется сигнал (импульс), свидетельствующий об обнаружении заданного объекта. Последний поступает на вход управления блока определения координат 47.1. На первую группу его информационных входов поступают данные о найденных границах вектор-контура с группы информационных выходов блока 36.1, а на вторую группу информационных входов - обработанный в блоке 35.1 видеокадр. В функцию блока 47.1 входит на основе полученного видеокадра и данных о границах вектор-контура обнаруженного объекта определить его координаты центра в координатах (пикселях) видеокамеры.

При повторном заполнении счетчика 33.1 импульсами генератора 32 на выходе обнуления последнего формируется импульс, который обнуляет счетчик 33.1 и переводит коммуникатор 34.1 в исходное состояние. В результате канал распознавания 2.8₁ готов к новому циклу работы. Аналогичные процессы протекают во всех M каналах устройства распознавания 2.8.

Координаты обнаруженного объекта поступают на соответствующую группу информационных входов мультиплексора 48. В функции последнего входит объединение информационных потоков от всех каналов распознавания 2.8₁-2.8_M с сохранением их идентификационных признаков. С группы информационных выходов блока 48 результаты обнаружения и идентификации объектов с координатами их центров (в системе координат видеокамеры)поступают на группу информационных входов второго блока управления 2.9. Синхронизацию работы всех элементов устройства 2.8 обеспечивают импульсы генератора 32.

Реализация элементов устройства 2.8 известна и трудностей не вызывает. Помехоподавитель 35 предназначен для подготовки входного видеоизображения для автоматической обработки. В первую очередь в его задачу входит минимизировать влияние шума в соответствии с выражением (1) и сложного фона. Полноцветные изображения с помощью блока 35 переводят в цветовое пространство HSV. Блок 35 может быть реализован с помощью микропроцессора IDT-C6 класса Pentium компании Integrated Device Technology Inc.

В функции блока 36 входит выделение границ контуров (см. выражение (2)-(4)) на основе оператора Собеля. Может быть реализован на микропроцессоре Intel 80×86 (см. Ватутин Э.И., Мирошниченко С.Ю., Титов B.C. Программная оптимизация оператора Собеля с использованием SIMD-расширителей процессоров х86 // Телекоммуникации, 2006 г. - №6 с. 12-16).

Блок нормирования 37 предназначен для приведения обнаруженного вектор-контура N_изм к заданной размерности (см. выражение (5)). Может быть реализован совместно с блоком 36 на микропроцессоре Intel 80×86, (см. Леусенко А.Е., Шемаров А.И. Устройство адаптивного масштабирования процессора быстрого преобразования Фурье // Автоматика вычисл. техн. - Минск, вып. 14. - с. 90-92)).

Реализацию функций блоков 35, 36 и 37 целесообразно осуществить с помощью сигнального процессора TMS320c6416 (см. TMS320c6416: http://focus/ti/com/docs/prod/folders/print/TMS320c6416.html). Алгоритм работы TMS320c6416 приведен на фиг.6.

Вычислитель АКФ 38, корректор 40 и вычислитель ВКФ 44 имеют сходное функциональное назначение и предполагают близкую техническую реализацию. Могут быть реализованы на базе универсальных микропроцессоров К1810 (см. Залмансон Л.А. Преобразование Фурье, Хаара и их применение в управлении, связи и других областях, - М.: Наука. Гл. ред. физ.-мат.лит., 1989 г. - 496 с.; Пискаревский Н.Н. Анализатор взаимно-корреляционной функции // Метрология. - 1974 г. - №4, с. 37-43).

Вычислитель свертки 39 предназначен для получение вейвлеты Уолша АКФ вектор-контуров . Для его реализации используют конвольер, реализация которых известна и широко освещена в литературе (см. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов. М.: Мир, 1978 г. - 848 с.; Титов А.А. Использование базиса Уолша для решения задачи распознавания ортогональных сигналов // Изв. ВУЗов. Радиоэлектроника. - 1985 г. - Т. 28 №5, с. 51-55). Может быть реализован на микропроцессоре К1804.

Первый 41, второй 43 блоки памяти представляют собой буферные запоминающие устройства, реализация которых известна (см. Большие интегральные схемы запоминающих устройств: Справочник / А.Ю. Горденов и др. - М.: Радио и связь, 1990 г. - 512 с.).

Реализация блока определения координат центра вектор-контура 47 известна и трудностей не вызывает. На группы его информационных входов поступают предварительно подготовленное видеоизображение с группы информационных выходов блока 35 и вектор-контур N_изм обнаруженного объекта с группы выходов блока 36. Определение координат центра вектор-контура N_изм осуществляют в случае прихода на управляющий вход блока 47 сигнала о том, что обнаруженный объект относится к классу заданных объектов. Последний поступает с выхода блока 46. С его поступлением на первом этапе определяют центр вектор-контура как геометрической фигуры на основе поиска ее центра тяжести. Для этого используется видеоинформация, поступаемая с выхода блока 36. На следующем этапе осуществляют привязку найденного вектор-контура N_изм с обработанным видеоизображением кадра, поступающим с выхода блока 35. Далее определяют координаты центра вектора-контура в пикселях. Отсчет осуществляют от верхнего левого угла кадра. Блок 47 может быть реализован на универсальном микропроцессоре КР580, алгоритм работы которого приведен на фиг. 21.

Мультиплексер 48 предназначен для поочередного подключения групп информационных выходов каналов распознавания 2.8₁-2.8_M к первой группе информационных выходов устройства распознавания 2.8. Реализация мультиплексеров известна и широко освещена в литературе. Особенностью блока 48 является то, что он по входу управления дополнен счетчиком импульсов, обеспечивающим его управление. Может быть реализована на микросхемах КМОП серий, например К561КП1. Аналогично может быть реализован коммутатор 34. Отличие состоит в том, что на входе управления микросхемы К561КП1 дополнительно ставится триггер. В качестве блока 32 может быть использован генератор прямоугольных импульсов РН-&72 или SG633 (см. www, digit-el.сот).

Второе запоминающее устройство 2.7 выполняется M-канальным по числу БПЛА 1₁-1_M для обеспечения независимой работы каналов распознавания 2.8₁-2.8_M. На подготовительном этапе в каждый блок памяти 2.7₁-2.7_M записывают одну и ту же библиотеку эталонных описаний заданных объектов.

Приемный модуль 2.3 содержит M идентичных приемных трактов, аналогичных приемному тракту 2.3 в устройстве-прототипе. Выходы блоков 2.3₁-2.3_M подключают к соответствующим каналам устройств 2.4₁-2.4_M, 2.8₁-2.8_M и 2.9.

Второй блок управления 2.9 обеспечивает прием данных о координатах объектов в системе координат видеокамеры с группы информационных выходов устройства 2.8 одновременно от всех БПЛА 1₁-1_M преобразование полученной информации к виду, необходимому для нормальной работы устройств 2.4 (формирование команд на определение координат), распределение сформированных команд по соответствующим каналам устройства 2.4. Кроме того, оператор НПУ 2 в состоянии визуально контролировать порядок прохождения команд на местоопределение объектов и в необходимых случаях вмешиваться в этот процесс. Данная ситуация возникает в тех случаях, когда заданные объекты едва различимы на общем фоне кадра (например объекты находятся в лесу под деревьями). В этом случае блок 2.9 работает по алгоритму, предложенному в устройстве - прототипе. Для обеспечения ввода видеоинформации от блока 2.3 на входе устройства управления 2.9 дополнительно используется мультиплексер, аналогичный блоку 48. Для обеспечения управления М каналами устройства 2.4 на выходе бока 2.9 используется демультиплексер. Реализация последнего аналогична блоку 48 (см. www.plam.ru/radioel/lekcii_po_shemotehnike/p5.php).

Формула изобретения

1. Способ определения координат объектов, заключающийся в том, что на подготовительном этапе на борт летно-подъемного средства (ЛПС) устанавливают и фиксируют видеокамеру для обзора нижней полусферы, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (k_k, l_k, ζ_k), где k_k, l_k, ζ_k - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (B_lps, L_lps, H_lps)_i, где , , - соответственно широта, долгота и высота ЛПС в t_i-й момент времени, t=1, 2, …, I, и его пространственную ориентацию (k_lps, l_lps, ζ_lps)_i, где , , - соответственно углы крена, тангажа и склонения ЛПС в t_i-й момент времени, совместно запоминают навигационные и временные параметры ЛПС, а при обнаружении j-го заданного объекта в момент времени t_i определяют местоположение объекта на кадре видеокамеры, преобразуют координаты j-го объекта в кадре на вектор направления на него в системе координат видеокамеры с учетом влияния на результаты измерений дисторсии объектива, переводят координаты ЛПС в геоцентрическую систему координат , корректируют вектор направления на j-й объект с учетом априорно известной ориентации видеокамеры относительно борта ЛПС (k_k, l_k, ζ_k) путем последовательного умножения значений на соответствующие углам Эйлера матрицы поворота, после чего в нормальной системе координат вычисляют уточненное значение вектора направления на j-й объект с учетом измеренных в момент времени t_i пространственных углов ЛПС: крена , тангажа и склонения , определяют уточненные значения азимута , угла места и удаление ЛПС, находящегося в момент времени t_i на высоте H_lpsi, от j-го объекта d(H₀)_ij, расположенного на поверхности "круглой" Земли, в геоцентрической системе координат определяют значение истинного вектора направления на j-й объект , зависящее от широты B_lps и долготы L_lps местоположения ЛПС, определяют координаты точки пересечения вектора с "круглой" Землей , преобразуют геоцентрические координаты j-го объекта в географические , где B_j и L_j - соответственно широта и долгота местоположения j-го объекта, при наличии k последовательных кадров, k=1, 2, …, K, с изображением j-го объекта выполняют n циклов измерений географических координат , результаты измерений усредняют, а при наличии цифровой карты местности района измерений, представляющей собой матрицу с дискретностью по координатам района измерений с соответствующими значениями высот рельефа, уточняют географические координаты обнаруженного j-го объекта , отличающийся тем, что на подготовительном этапе дополнительно для каждого класса объектов формируют и запоминают набор эталонных вектор-контуров в совокупности с n первыми членами свертки ее автокорреляционной функции (АКФ), а в процессе полета ЛПС для распознавания обнаруженных объектов и принятия решения на их местоопределение находят вектор-контур обнаруженного объекта и первые n элементов вейвлетной свертки АКФ, сравнивают с n первыми элементами сверток АКФ эталонных вектор-контуров, определяют и выделяют эталонные вектор-контуры с минимальными отличиями от обнаруженного вектор-контура, определяют значения взаимнокорреляционных функций (ВКФ) для выделенных эталонных вектор-контуров и обнаруженного вектор-контура, сравнивают полученные значения ВКФ с заданным порогом, а при выполнении пороговых условий определяют эталонный вектор-контур с наибольшим значением ВКФ, принимают решение об обнаружении и идентификации объекта, соответствующего эталону с максимальным значением ВКФ, определяют координаты центра обнаруженного и идентифицированного объекта на кадре и формируют команду на его местоопределение, а в качестве выходных формируют данные о типе объекта, его географических координат и времени измерения.

2. Устройство определения координат объектов, состоящее из первого беспилотного летательного аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательную установку, группа информационных входов которой соединена с третьей группой информационных выходов контроллера, первый приемопередающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления, отличающееся тем, что дополнительно используют M-1 идентичных с первым БПЛА, M=2, 3, …, , а в НПУ дополнительно введены второе запоминающее устройство и устройство распознавания, выполненные M-канальными, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления, первая группа информационных входов соединена с группой информационных выходов второго запоминающего устройства, вторая группа информационных входов соединена с группой информационных выходов приемного модуля, выполненного M-канальным, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства, группа информационных входов которого является входной шиной НПУ, вторая группа информационных выходов устройства распознавания является второй выходной шиной наземного пункта управления, группа информационных выходов второго устройства обработки и отображения информации - первой выходной шиной НПУ, при этом первое и второе устройство обработки и отображения информации и второй приемо-передающий модуль выполняют M-канальными.

ИЗВЕЩЕНИЯ

MM4A Досрочное прекращение действия патента из-за неуплаты в установленный срок пошлины за поддержание патента в силе

Дата прекращения действия патента: 16.04.2016

Дата публикации: 20.12.2016

---

MM4A Досрочное прекращение действия патента из-за неуплаты в установленный срок пошлины за поддержание патента в силе

Дата прекращения действия патента: 16.04.2016

Дата внесения записи в Государственный реестр: 08.12.2016

Дата публикации: 20.12.2016