РОССИЙСКАЯ ФЕДЕРАЦИЯ ФЕДЕРАЛЬНАЯ СЛУЖБА ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ |
(19)
RU
(11)
2 754 704
(13)
C2 | |||||||
| ||||||||
| Статус: | действует (последнее изменение статуса: 10.09.2021) |
| Пошлина: | учтена за 5 год с 28.04.2022 по 27.04.2023. Установленный срок для уплаты пошлины за 6 год: с 28.04.2022 по 27.04.2023. При уплате пошлины за 6 год в дополнительный 6-месячный срок с 28.04.2023 по 27.10.2023 размер пошлины увеличивается на 50%. |
|
(21)(22) Заявка: 2018115998, 27.04.2018 (24) Дата начала отсчета срока действия патента: Дата регистрации: Приоритет(ы): (30) Конвенционный приоритет:; (43) Дата публикации заявки: 28.10.2019 Бюл. № 31 (45) Опубликовано: 06.09.2021 Бюл. № 25 (56) Список документов, цитированных в отчете о поиске: KZ 24027 B, 16.05.2011. US 20140188333 A1, 03.07.2014. DE 102016203077 A1, 31.08.2017. US 8295644 B2, 23.10.2012. WO 2009143871 A, 03.12.2009. Адрес для переписки: |
(72) Автор(ы): (73) Патентообладатель(и): |
(54) СИСТЕМА И СПОСОБ МОНИТОРИНГА РАБОЧЕГО УЧАСТКА
(57) Реферат:
Группа изобретений относится к системе и способу мониторинга рабочего участка. Система содержит компонент связи с устройством формирования изображения беспилотного летательного аппарата, контроллер, содержащий модуль сцены, модуль объектов и модуль карты. Для мониторинга рабочего участка принимают данные изображения рабочего участка с помощью компонента связи, оценивают их и формируют изображения сцены рабочего участка, идентифицируют объекты на рабочем участке, выполняют абстракции объектов для формирования их символики, формируют карту рабочего участка посредством наложения символики объекта на изображение сцены. Обеспечивается повышение оперативности мониторинга рабочего участка через карты рабочего участка. 2 н. и 18 з.п. ф-лы, 8 ил.
Перекрестная ссылка на родственные заявки
[1] Не применяется.
Заявление о финансируемых из федерального бюджета научных исследованиях или разработках
[2] Не применяется.
Область техники
[3] Это раскрытие относится к рабочим транспортным средствам и к мониторингу рабочих транспортных средств.
Уровень техники
[4] В строительстве, сельском хозяйстве, горной промышленности и лесной промышленности применяются рабочие транспортные средства многих разных типов для выполнения различных задач на рабочих участках. Как правило, во многих задачах несколько транспортных средств используются одновременно и/или совместно для выполнения работы в целом. Управление и мониторинг всего рабочего участка могут представлять сложность.
Сущность изобретения
[5] Раскрытие обеспечивает систему и способ для мониторинга рабочего участка через карты рабочего участка.
[6] В одном аспекте раскрытие обеспечивает систему мониторинга рабочего участка с компонентом связи, принимающим данные изображения, представляющие по меньшей мере одно изображение рабочего участка, захваченное устройством формирования изображений беспилотного летательного аппарата. Система дополнительно включает в себя контроллер с памятью и архитектурой обработки для исполнения инструкций, сохраненных в памяти, присоединенный к компоненту связи. Контроллер включает в себя модуль сцены, модуль объектов и модуль карты. Модуль сцены выполнен с возможностью оценивать данные изображения и формировать изображение сцены рабочего участка на основе по меньшей мере данных изображения. Модуль объектов выполнен с возможностью идентифицировать по меньшей мере первый объект в изображении и выполнять абстракцию первого объекта как символику объекта. Модуль карты выполнен с возможностью формировать карту рабочего участка с символикой объекта, наложенной на изображение сцены.
[7] В другом аспекте раскрытие обеспечивает способ формирования карты рабочего участка. Способ включает в себя прием с помощью компонента связи данных изображения, представляющих по меньшей мере одно изображение рабочего участка, захваченное устройством формирования изображений беспилотного летательного аппарата; оценку с помощью контроллера данных изображения и формирование изображения сцены рабочего участка на основе по меньшей мере данных изображения; идентификацию с помощью контроллера по меньшей мере первого объекта на рабочем участке из данных изображения; выполнение с помощью контроллера абстракции первого объекта для формирования символики объекта; и формирование с помощью контроллера карты рабочего участка посредством наложения символики объекта на изображение сцены.
[8] Подробности одного или более вариантов осуществления изложены ниже на прилагаемых чертежах и в описании. Другие признаки и преимущества станут очевидны из описания, чертежей и формулы изобретения.
Краткое описание чертежей
[9] Фиг. 1 - схематическое изображение иллюстративной окружающей среды, к которой могут относиться раскрытые система и способ мониторинга;
[10] Фиг. 2 - блок-схема иллюстративной системы мониторинга рабочего участка;
[11] Фиг. 3 - более подробная блок-схема иллюстративной системы мониторинга рабочего участка, показанной на фиг. 2;
[12] Фиг. 4A-4E и 5A-5E - примеры символики объектов, которая может использоваться в системе мониторинга рабочего участка, показанной на фиг. 3;
[13] Фиг. 6 - иллюстративная карта рабочего участка, которая может быть сформирована посредством системы мониторинга рабочего участка, показанной на фиг. 3;
[14] Фиг. 7 - блок-схема последовательности этапов, демонстрирующая иллюстративный способ раскрытой системы, показанной на фиг. 3, в соответствии с одним из различных вариантов осуществления; и
[15] Фиг. 8 - иллюстративное меню графического пользовательского интерфейса способа, показанного на фиг. 7, в соответствии с одним из различных вариантов осуществления.
[16] Одинаковые символы для ссылок на разных чертежах указывают одинаковые элементы.
Подробное описание
[17] Далее описывается один или более иллюстративных вариантов осуществления раскрытой системы и способа, как показано на прилагаемых чертежах, кратко описанных выше. Специалист в области техники может предположить различные модификации иллюстративных вариантов осуществления.
[18] Далее описываются одна или более иллюстративных реализаций раскрытых систем и способов мониторинга для рабочего участка, как показано на прилагаемых чертежах, кратко описанных выше. В общем случае раскрытые системы и способы функционируют для формирования карты рабочего участка на основе аэроснимков для различных операторов, которые обеспечивают повышенную эффективность, функционирование и безопасность по сравнению с традиционными системами.
[19] Фиг. 1 представляет собой иллюстративную окружающую среду 100 рабочего участка (или "рабочий участок"), в которой могут быть реализованы система и способ мониторинга. В одном варианте осуществления система 110 мониторинга может быть реализована в центре 120 управления или соответствовать центру 120 управления рабочего участка 100, имеющего одно или более рабочих транспортных средств 130, 131, 132, 133. Как описано ниже, система 110 мониторинга может формировать карты рабочего участка на основе изображений, захваченных одним или более беспилотными летательными аппаратами 180. Хотя система 110 мониторинга изображена в центре 120 управления, в различных вариантах осуществления она может быть реализована с помощью других элементов и/или иным образом взаимодействовать с ними в пределах или за пределами рабочего участка 100, включающего в себя различные транспортные средства 130-133 и беспилотные летательные аппараты 180. В других примерах система 110 мониторинга может представлять собой распределенную систему и/или автономную систему.
[20] В общем случае рабочий участок 100 можно рассматривать как географическую область, в котором рабочие транспортные средства 130-133 взаимодействуют для выполнения одной или более задач, которые составляют одну или более работ в целом. Центр 120 управления может быть локальным или удаленным от рабочего участка 100, и среди других функций реализует систему 110 мониторинга для формирования карт рабочего участка для использования операторами на рабочих транспортных средствах 130-133 или оператором в центре 120 управления для осуществления мониторинга функционирования рабочих транспортных средств 130-133 или одной или более задач на рабочем участке 100. Карты рабочего участка системы 110 мониторинга могут предоставлять операторам информацию различных типов, например, ход выполнения задачи или работы, общую информацию о рабочем участке, изображения рабочего участка, картографическую информацию и/или информацию статуса относительно рабочего участка 100 или транспортных средств 130-133. Система 110 мониторинга обсуждается ниже со ссылкой на оператора, и это в общем случае относится к менеджеру или оператору в центре 120 управления, к оператору в одном или более рабочих транспортных средствах 130-133 или к любой стороне, которая запрашивает или получает карту рабочего участка или способствует формированию карты рабочего участка посредством системы 100.
[21] Элементы на рабочем участке 100 могут осуществлять беспроводную связь друг с другом любым подходящим образом, в том числе непосредственно (например, через Bluetooth®, радиочастотные сигналы и т.п.) или через сеть 102. Например, сеть 102 связи может использовать одну или более различных методик или механизмов связи, в том числе радиочастотную связь, Wi-Fi, сотовую связь и т.п. Более подробная информация о стандартах связи предоставлена ниже. Сеть 102 может включать в себя или иным образом взаимодействовать с системой JDLink™, серийно выпускаемой посредством Deere & Company в Молин, Иллинойс.
[22] Как представлено выше, рабочие транспортные средства 130-133 могут являться частью всего парка или любой коллекцией транспортных средств. Хотя на фиг. 1 в качестве примера показаны четыре транспортных средства 130-133, может быть обеспечено любое количество. Рабочие транспортные средства 130-133 могут представлять собой любой тип рабочего транспортного средства (либо одинаковый тип, либо разные типы), в том числе самосвалы 130, 131 и экскаваторы-погрузчики 132, 133 с обратным ковшом, изображенные на фиг. 1. В других применениях также возможны другие конфигурации. Например, рабочие транспортные средства в некоторых вариантах осуществления могут быть выполнены как грузовые автомобили, грейдерные погрузчики или подобные транспортные средства. Кроме того, рабочие транспортные средства могут быть выполнены как не строительные машины, включающие в себя транспортные средства для сельского хозяйства, лесной и горнодобывающей промышленности, такие как тракторы, комбайны, уборочные машины, краны для укладки древесины, подвесные установки, валочно-пакетирующие машины и т.д. Дополнительная подробная информация о рабочих транспортных средствах 130-133 и беспилотном летательном аппарате 180, а также о функционировании системы 110 мониторинга будет предоставлена ниже после описания центра 120 управления.
[23] В общем случае центр 120 управления включает в себя компонент 122 связи, контроллер 124 центра, одно или более хранилищ 126 данных и человеко-машинный интерфейс 128, которые реализуют или иным образом обеспечивают систему 110 мониторинга. Компонент 122 связи содержит любую подходящую систему для приема данных от рабочих транспортных средств 130-133 и беспилотного летательного аппарата 180 и передачи данных им. Например, компонент 122 связи может включать в себя радиоприемник или подходящий приемник, выполненный с возможностью принимать данные, передаваемые посредством модуляции радиочастотного сигнала (RF) через сеть сотовой связи в соответствии со стандартом долгосрочного развития (LTE), хотя могут использоваться другие методики. Компонент 122 связи может осуществлять двунаправленную связь по Bluetooth® или посредством использования стандарта Wi-Fi, т.е., одного или более стандартов 802.11, определенных Институтом инженеров по электротехнике и радиоэлектронике (IEEE), как известно специалистам в области техники. Таким образом, компонент 122 связи может включать в себя приемопередатчик Bluetooth®, радио-приемопередатчик, сотовый приемопередатчик, приемопередатчик LTE и/или приемопередатчик Wi-Fi. Компонент 122 связи может использовать различные протоколы и методики защиты, чтобы гарантировать, что между центром 120 управления, рабочими транспортными средствами 130-133 и беспилотным летательным аппаратом 180 осуществляется должным образом безопасная связь.
[24] Контроллер 124 центра осуществляет связь с компонентом 122 связи, хранилищем 126 данных и/или человеко-машинным интерфейсом 128 посредством подходящей архитектуры или структуры взаимодействия, которые обеспечивают возможность передачи данных, команд, электропитания и т.д. В некоторых вариантах осуществления контроллер 124 центра также может осуществлять связь с одним или более удаленными операторами через портал, такой как веб-портал. Контроллер 124 центра может быть выполнен как вычислительное устройство с соответствующими процессорными устройствами и архитектурами памяти как аппаратная вычислительная схема (или схемы) с жесткой логикой, как программируемая схема или иным образом.
[25] В некоторых примерах человеко-машинный интерфейс 128 дает возможность оператору взаимодействовать с центром 120 управления (например, вводить команды и данные) и тем самым с другими элементами на рабочем участке 100. В одном примере интерфейс 128 включает в себя устройство ввода и дисплей. Устройство ввода представляет собой любое подходящее устройство, способное принимать пользовательский ввод, в том числе, но без ограничения, клавиатуру, микрофон, сенсорный слой, связанный с дисплеем, или другое подходящее устройство для приема данных и/или команд от пользователя. Также могут использоваться несколько устройств ввода. Дисплей содержит любую подходящую технологию для отображения информации, в том числе, но без ограничения, жидкокристаллический дисплей (LCD), светодиод (LED), органический светодиод (OLED), плазму или электронно-лучевую трубку (CRT). В некоторых вариантах осуществления интерфейс 128 может включать в себя устройства вывода в дополнение к дисплею, в том числе динамики и осязательные приводы.
[26] В общем случае центр 120 управления принимает и хранит данные от рабочих транспортных средств 130-133 и беспилотного летательного аппарата 180, а также от подобных машин, устройств и систем со всего парка или от всего персонала. В некоторых примерах центр 120 управления может функционировать в качестве "внутренней" системы или сервера, который способствует выполнению работы на рабочем участке или группе рабочих участков, в том числе сбору и созданию различных типов данных, таких как данные парка, служебные данные, данные о работе или планировании, данные о персонале и т.п. Кроме того, в одном варианте осуществления центр 120 управления может реализовать один или более аспектов системы 110 мониторинга, в том числе обеспечение запрашиваемых или желаемых данных для выполнения соответствующих функций, обсуждаемых более подробно ниже.
[27] Как отмечено выше, система 110 мониторинга может быть использована в отношении различных мобильных рабочих транспортных средств и мобильных машин других типов, в том числе рабочих транспортных средств 130-133, изображенных на фиг. 1. В изображенном варианте осуществления рабочие транспортные средства 130-133 соответствуют самосвалам 130-131 и экскаваторам-погрузчикам 132-133, хотя могут быть обеспечены транспортные средства любого типа. Среди прочего самосвалы 130-131 в общем случае используются для транспортировки материала на рабочий участок 100, с рабочего участка 100 и внутри рабочего участка 100, и экскаваторы-погрузчики 132-133 с обратным ковшом могут использоваться, чтобы рыть материал, толкать материал или загружать материал в самосвалы 130-131 или выгружать материал из них.
[28] Одно из рабочих транспортных средств 130 описано ниже, чтобы обеспечить пример различных типов машинных элементов, которые могут взаимодействовать с системой 110 мониторинга и описаны просто в качестве ссылки. Если не указано иначе, транспортные средства 131-133 имеют компоненты, аналогичные тем, которые обсуждаются ниже в отношении транспортного средства 130.
[29] В одном примере рабочее транспортное средство 130 включает в себя контроллер 140 транспортного средства (или несколько контроллеров) для управления различными аспектами функционирования рабочего транспортного средства 130 и в некоторых вариантах осуществления для обеспечения возможности реализации системы 110 мониторинга. Обычно контроллер 140 (или другие) может быть выполнен как вычислительное устройство с соответствующими процессорными устройствами и архитектурами памяти, ка аппаратная вычислительная схема (или схемы) с жесткой логикой, как программируемая схема, как гидравлический, электрический или электрогидравлический контроллер, или иным образом. Таким образом, контроллер 140 может быть выполнен с возможностью исполнять различную вычислительную и управляющую функциональность относительно рабочего транспортного средства 130 (или другого оборудования). В некоторых вариантах осуществления контроллер 140 может быть выполнен с возможностью, принимать входные сигналы в различных форматах (например, как гидравлические сигналы, сигналы напряжения, сигналы тока и т.д.) и выдавать сигналы команд в различных форматах (например, как гидравлические сигналы, сигналы напряжения, сигналы, тока механические движения и т.д.).
[30] Контроллер 140 может иметь электронную, гидравлическую, механическую или другую связь с различными другими системами или устройствами рабочего транспортного средства 130 (или другого оборудования). Например, контроллер 140 может иметь электронную или гидравлическую связь с различными приводами, датчиками и другими устройствами в пределах рабочего транспортного средства 130 (или за его пределами), в том числе с различными устройствами, описанными ниже. Контроллер 140 может взаимодействовать с другими системами или устройствами (в том числе с другими контроллерами) различными известными методами, в том числе через шину CAN (не показана) рабочего транспортного средства 130, через беспроводные или гидравлические средства связи или иным образом.
[31] В некоторых вариантах осуществления контроллер 140 может быть выполнен с возможностью принимать входные команды и взаимодействовать с оператором на через интерфейс 150 между человеком и транспортным средством, который может быть расположен в кабине 142 рабочего транспортного средства 130 для простого доступа для оператора транспортного средства. Интерфейс 150 между человеком и транспортным средством может быть выполнен различным образом. В некоторых вариантах осуществления интерфейс 150 между человеком и транспортным средством может включать в себя устройство 152 ввода с одним или более джойстиками, различными переключателями или рычагами, одной или более кнопками, интерфейс с сенсорным экраном, который может быть наложен на дисплей 154, клавиатуру, динамик, микрофон, связанный с системой распознавания речи, или различные другие устройства человеко-машинного интерфейса. Интерфейс 150 между человеком и транспортным средством также включает в себя дисплей 154, который может быть реализован как дисплей с плоской панелью или другого типа, который объединен с приборной панелью или пультом рабочего транспортного средства 130. Специалисты в области техники могут представить себе другие методики, чтобы реализовать дисплей 154 в рабочем транспортном средстве 130. Как описано более подробно ниже, дисплей 154 может функционировать для визуализации карты рабочего участка, сформированной системой 110 мониторинга для отображения оператору транспортного средства 130.
[32] Рабочее транспортное средство 130 дополнительно включает в себя компонент 156 связи транспортного средства. Компонент 156 связи транспортного средства предоставляет возможность связи между контроллером 140 и системой 110 мониторинга, а также другими элементами, относящимися к рабочему участку 100. Компонент 156 связи транспортного средства содержит любую подходящую систему для приема и передачи данных, в том числе описанные выше со ссылкой на компонент 122 связи. В одном примере компонент 156 связи транспортного средства достигает двунаправленных связей с системой 110 мониторинга через Bluetooth®, спутник или посредством использования стандарта Wi-Fi, т.е., одного или более из стандартов 802.11. Компонент 156 связи транспортного средства может использовать различные протоколы и методики защиты, чтобы гарантировать должную безопасную связь.
[33] Как описано более подробно ниже, контроллер 140 может обеспечить возможность сбора данных различных типов о транспортном средстве, относящихся к рабочему транспортному средству 130, для системы 110 мониторинга. Данные о транспортном средстве могут быть в форме необработанных данных от применимых датчиков, описанных ниже (или из других источников), или подвергнуты некоторой обработке в контроллере 140, чтобы извлечь желаемые характеристики. В качестве примеров такие данные могут включать в себя данные позиции и данные статуса. Контроллер 140 также может обеспечить возможность приема карт рабочего участка от системы 110 мониторинга, например, через компонент 156 связи транспортного средства и отображать карты на дисплее 154. Более подробная информация будет предоставлена ниже.
[34] Как представлено выше, рабочее транспортное средство 130 включает в себя раму 160 транспортного средства, поддерживающую кабину 142. В этом примере рабочее транспортное средство 130 представляет собой самосвал и включает в себя рабочий инструмент в форме грузового кузова 162, установленного на раме 160 транспортного средства. Следует понимать, что конфигурация рабочего транспортного средства 130, имеющего рабочий инструмент в виде грузового кузова 162, представлен только в качестве примера. Грузовой кузов 162 определяет емкость для приема груза. Как правило, один или более приводимых в действие гидравлических цилиндров установлены на раму 160 и грузовой кузов 162, чтобы выборочно вращать грузовой кузов 162 вокруг точки поворота. В других вариантах осуществления рабочие инструменты в качестве примеров могут включать в себя ковши, вилочные захваты, почвообрабатывающие орудия и косилки.
[35] Как и рабочее транспортное средство 130, рабочее транспортное средство 131 также представляет собой самосвал и имеет подобный грузовой кузов в качестве рабочего инструмента. Напротив, рабочие транспортные средства 132, 133 реализованы как экскаваторы-погрузчики с обратным ковшом, в которых рабочие инструменты сформированы посредством погрузчика, установленного на передней части транспортного средства 132, 133, и землеройного ковша на шарнирном манипуляторе, установленном сзади транспортного средства 132, 133.
[36] Рабочее транспортное средство 130 дополнительно включает в себя источник тяги, такой как двигатель 164, который подает движущую силу на передачу 166. В одном примере двигатель 164 представляет собой двигатель внутреннего сгорания, такой как дизельный двигатель, которым управляет контроллер 140. Следует отметить, что использование двигателя внутреннего сгорания является лишь примером, поскольку устройство тяги может представлять собой топливный элемент, электродвигатель, гибридно-газовый электродвигатель и т.д. Передача 166 передает движущую силу от двигателя 164 к подходящей линии привода, присоединенной к одному или более ведомым колесам (механизму тяги другого типа) рабочего транспортного средства 130, чтобы обеспечить движение. Как известно специалистам в области техники, передача 166 может включать в себя подходящий зубчатый привод, управляемый в множестве диапазонов (передач), содержащих одну или более зубчатых передач, в том числе, но без ограничения, парковочную передачу, нейтральную передачу, передачу заднего хода, передачу движения вперед, понижающую передачу и т.д.
[37] Рабочее транспортное средство 130 может включать в себя различные другие компоненты или системы, которые типичны на рабочих транспортных средствах. Примеры включают в себя системы привода для грузового кузова 162 и/или другие компоненты; системы смазки и охлаждения; системы батарейного питания; выхлопные системы очистки; системы рулевого управления с усилителем; тормозные системы и т.п.
[38] Рабочее транспортное средство 130 дополнительно включает в себя различные датчики 170, которые функционируют для сбора информации о рабочем транспортном средстве 130 и/или рабочем участке 100. Такая информация может быть предоставлена контроллеру 140 и/или компоненту 156 связи для потенциальной передачи и использования системой 110 мониторинга.
[39] В качестве примера датчики 170 могут включать в себя датчики выполнения, относящиеся к системам транспортного средства и обсуждаемым выше компонентам, в том числе датчики двигателя и передачи, датчики топлива и датчики батареи. Дополнительные датчики 170 могут включать в себя компоненты, используемые для определения ориентации, позиции или статуса рабочего инструмента, в том числе определения массы или объема материала в рабочем инструменте. Датчики 170 также могут быть обеспечены для наблюдения различных условий, относящихся к рабочему транспортному средству 130. Например, различные датчики 170 могут быть расположены на раме 160 или около рамы 160 для измерения параметров позиции, таких как наклон или уклон транспортного средства 130. Кроме того, датчики 170 рабочего транспортного средства могут включать в себя один или более датчиков скорости, местоположения и/или позиции, такие как приемник системы глобального позиционирования (GPS), система LORAN, инерциальная система наведения, сотовая система триангуляции или другая система позиционирования, которые обеспечивают сигналы в контроллер 140 для выявления скорости, местоположение и/или направления рабочего транспортного средства 130. Следует отметить, что используемый в настоящем документе термин "GPS" относится к любому типу системы позиционирования на основе спутников. Кроме того, кинематическая информация (например, местоположение, скорость, ориентация, направление движения, наклон и т.д.), связанная с элементом рабочего участка (например, рабочим транспортным средством 130), может в целом упоминаться как данные "позиции". Датчики 170 могут дополнительно включать в себя один или более датчиков близости, размещенных для идентификации присутствия или отсутствия объектов, окружающих рабочее транспортное средство 130, в том числе оптические датчики, инфракрасные датчики и радиолокационные системы или системы LIDAR. В некоторых случаях датчики 170 и/или контроллер 140 могут формировать системы мониторинга работоспособности или состояния, которые формируют диагностические коды проблем в качестве данных статуса (или работоспособности), относящиеся к рабочим транспортным средствам 130-133, которые могут быть обеспечены системе 110 мониторинга. Как описано более подробно ниже, контроллер 140 может функционировать для отправки информации различных типов, такой как информация позиции и статуса, системе 110 мониторинга в качестве данных о транспортных средствах. Дополнительно система 110 мониторинга может обеспечить карты рабочего участка отображает рабочим транспортным средствам 130-133 для отображения оператору транспортного средства.
[40] Как представлено выше, система 110 мониторинга также может включать в себя или взаимодействовать с одним или более беспилотными летательными аппаратами 180. Обычно беспилотный летательный аппарат 180 представляет собой механизированное воздушное транспортное средство любого типа, которое не перевозит оператора-человека и использует аэродинамические силы для полета на основе команд, сформированных автономно или принятых от дистанционного пилота. Беспилотный летательный аппарат 180 также может упоминаться как БПЛА (UAV), беспилотник или беспилотная авиационная система (UAS). Хотя изображен только один аппарат 180, дополнительные аппараты 180 могут быть обеспечены для совместного захвата изображений рабочего участка 100.
[41] Как описано ниже, в одном примере беспилотный летательный аппарат 180 функционирует для автономного полета над рабочим участком 100 на основе плана полета. Такие планы полета могут быть основаны на предопределенных или разведанных границах рабочего участка. В других примерах беспилотный летательный аппарат 180 может пилотироваться вручную или работать полуавтономно. Кроме того, единственный беспилотный летательный аппарат 180 может покрыть весь рабочий участок 100 в конкретном интервале, в то время как в других вариантах осуществления обеспечены несколько беспилотных летательных аппаратов 180, чтобы совместно покрыть рабочий участок 100 в конкретном интервале. Такие интервалы или "проходы" могут быть основаны на многих соображениях, в том числе размере и уровне активности на рабочем участке 100. Однако обычно карты рабочих участков, сформированные системой 110 мониторинга, основаны на оперативных, текущих или относительно недавних изображениях, захваченных беспилотным летательным аппаратом 180. Хотя некоторые элементы беспилотного летательного аппарата 180 специально обсуждаются ниже, аппарата 180 может включать в себя дополнительные компоненты или функциональность.
[42] В одном варианте осуществления беспилотный летательный аппарат 180 включает в себя корпус 182, который в общем случае содержит в себе или иным образом поддерживает другие компоненты аппарата 180. Беспилотный летательный аппарат 180 дополнительно включает в себя приводные механизмы 186 полета, которые совместно включают в себя один или более роторов, моторов, двигателей, крыльев, регулируемых поверхностей управления полетом и т.п. которые позволяют аппарату 180 достигать и поддерживать желаемый полет.
[43] Беспилотный летательный аппарат 180 дополнительно включает в себя контроллер 184, который управляет всей работой аппарата 180, в том числе управлением полетом и захватом изображений. Например, контроллер 184 может быть выполнен как вычислительное устройство с соответствующими устройствами обработки и архитектурами памяти, как аппаратная вычислительная схема (или схемы) с жесткой логикой, как программируемая схема или иным образом.
[44] Кроме того, могут быть обеспечены один или более датчиков 188 для сбора информации, которая может использоваться для управления полетом и/или сбора изображений. Например, датчики 188 могут включать в себя один или более датчиков скорости, местоположения и/или позиции, такие как GPS-приемник, система LORAN, инерциальная система наведения, сотовая система триангуляции или другая система позиционирования, чтобы обеспечить определение скорости, местоположения и/или позиции аппарата 180. В соответствии с вариантом осуществления датчики 188 также могут включать в себя инерционные блоки 240 измерения (IMU) для формирования или добавления данных местоположения, которые могут включать в себя различные компоненты, такие как акселерометры, гироскопы, датчики наклона и т.д. Кроме того, датчики 188 могут представлять собой оптические датчики, инфракрасные датчики и радиолокационные системы или системы LIDAR, которые могут помочь в управлении полетом или в сборе изображений, и другие данные о рабочем участке 100.
[45] Беспилотный летательный аппарат 180 дополнительно включает в себя блок 190 связи, который позволяет контроллеру 184 и/или другим компонентам аппарата 180 осуществлять связь с наземной станцией, которая в одном примере является центром 120 управления, и/или с системой 110 мониторинга. Блок 190 связи содержит любую подходящую систему для приема и передачи данных, в том числе описанные выше со ссылкой на компонент 122 связи. В одном примере блок 190 связи достигает двунаправленную связь по технологии Bluetooth®, с помощью спутника или посредством использования стандарта Wi-Fi, т.е., одного или более стандартов 802.11. Блок 190 связи может использовать различные протоколы и методики защиты, чтобы гарантировать должную безопасную связь.
[46] Беспилотный летательный аппарат 180 дополнительно включает в себя устройство 192 формирования изображений. Устройство 192 формирования изображений функционирует для сбора изображений рабочего участка 100. Устройство 192 формирования изображений может включать в себя одно или более устройств из фотокамеры для покадровой съемки, видеокамеры с функцией видеозаписи, стереоскопической камеры с возможностью получения трехмерного изображения с использованием параллакса, 360-градусной камеры с возможностью получения видео с охватом 360 градусов, гиперспектральной камеры и/или термографического устройства. В некоторых примерах изображения могут использоваться для сбора или определения оперативной информации о контурах, топологии, возвышении и другой информации относительно рабочего участка 100. Такие изображения могут включать в себя мультиспектральные и/или гиперспектральные изображения, например, чтобы обеспечить возможность формирования информации для трехмерной (3D) картографии. Обычно устройство 192 формирования изображений функционирует для захвата достаточного количества изображений, требуемых для формирования карты рабочего участка, обсуждаемой ниже. В некоторых вариантах осуществления беспилотный летательный аппарат 180 может включать в себя сервопривод, который обеспечивает возможность корректировки или изменения позиции устройства 192 формирования изображений.
[47] Как представлено выше, контроллер 184 может включать в себя любое подходящее аппаратное и программное обеспечение для формирования изображений, которое обеспечивают возможность создания карт рабочего участка, обсуждаемых ниже. Например, контроллер 184 формирует команды управления полетом, чтобы в результате аппарат 180 находился в подходящей позиции в подходящее время для захвата желаемых изображений в назначенном интервале, который может включить в себя весь рабочий участок, если аппарат 180 является единственным аппаратом, или заданную позицию, если аппарат 180 является одним из нескольких совместно работающих аппаратов. Когда обеспечено несколько аппаратов 180, контроллер, 184 соответствующего аппарата 180 может обеспечить возможность связи с соответствующими контроллерами других аппаратов, чтобы синхронизировать или скоординировать сбор изображений. В некоторых вариантах осуществления контроллер 184 может выполнять некоторый уровень обработки изображений, в том числе объединение и/или сшивание нескольких частичных изображений в полное изображение, хотя, как правило, эта функция выполняется вне аппарата 180. В любом случае изображения, захваченные аппаратом 180, передаются блоком 190 связи системе 110 мониторинга, как описано более подробно ниже.
[48] Фиг. 2 является упрощенной блок-схемой системы 110 мониторинга. Как описано выше, система 110 мониторинга может быть реализована с помощью компонентов центра 120 управления (например, компонента 122 связи, контроллера 124 центра, хранилища 126 данных и человеко-машинного интерфейса 128), в результате чего фактически систему 110 мониторинга можно рассматривать как часть центра 120 управления. Однако в других примерах система 110 мониторинга может иметь аналогичные специализированные компоненты.
[49] Система 110 мониторинга может рассматриваться как включающая в себя контроллер 210, который может быть организован как один или более функциональных блоков или модулей 220, 240, 260 и 280 (например, программное обеспечение, аппаратные средства или их комбинация). В качестве примера каждый из модулей 220, 240, 260, 280 может быть реализован с помощью архитектуры обработки, такой как процессор 202 и память 204. Например, контроллер 210 может реализовать модули 220, 240, 260, 280 с помощью процессора 202 на основе программ или инструкций, сохраненных в памяти 204.
[50] В изображенном варианте осуществления контроллер 210 системы 110 мониторинга включает в себя модуль 220 сцены, модуль 240 объектов, модуль 260 производительности и модуль 280 карт. Фиг. 2 изображает одну иллюстративную организацию, и другие варианты осуществления могут выполнять подобные функции с помощью альтернативной организации или реализации. Дополнительные подробности о работе этих модулей 220, 240, 260, 280 будут предоставлены ниже.
[51] Как представлено выше, система 110 мониторинга может принимать данные из одного или более источников данных. В качестве примеров, и как обсуждается более подробно ниже, такие источники данных могут включать в себя беспилотный летательный аппарат 180, рабочие транспортные средства 130-133, хранилище 126 данных, пользовательские вводы и/или другие системы. Как также обсуждается ниже, система 110 мониторинга использует эти данные для формирования карт рабочего участка и информации других типов, относящейся к рабочему участку 100, чтобы позволить оператору осуществлять мониторинг различных характеристик рабочего участка.
[52] Фиг. 3 является более подробной блок-схемой, которая изображает потоки данных в систему 110, из системы 110 и между модулями 220, 240, 260, 280. Потоки данных и организация, изображенная на фиг. 3, являются лишь примерами, и могут быть обеспечены другие механизмы для выполнения подобных функций, некоторые функции могут быть опущены, и могут быть добавлены дополнительные функции. При обсуждении фиг. 3 ниже могут быть сделаны ссылки на аспекты фиг. 1.
[53] В одном примере модуль 230 сцены функционирует для формирования изображения 320 сцены, которое изображает "сцену" рабочего участка 100, которая в общем случае относится ко всему фону рабочего участка, в том числе к ландшафту и областям задач. Модуль 220 сцены может принимать данные из нескольких источников, в том числе от беспилотного летательного аппарата 180, от рабочих транспортных средств 130-133, из хранилища данных 126, от пользовательских вводов и/или от других систем.
[54] В частности, модуль 220 сцены принимает данные 302 изображения от одного или более беспилотных летательных аппаратов 180. Как представлено выше, данные 302 изображения могут принимать различные формы, хотя в общем случае данные 302 изображения совместно представляют полный аэрофотоснимок (или "вид с высоты птичьего полета") рабочего участка 100. Данные 302 изображения могут быть сформированы посредством нескольких частичных изображений рабочего участка 100; посредством единственного изображения рабочего участка 100; и/или посредством видеоинформации или изображений рабочего участка 100 других типов, из которых могут быть извлечены визуальные изображения и/или данные других типов. Как описано ниже, данные 302 изображения могут быть оценены, отсортированы и объединены для создания полного изображения 320 сцены.
[55] В некоторых примерах данные 302 изображения могут иметь отношение или включать в себя данные времени, которые указывают время, в которое соответствующее изображение было захвачено, и/или данные позиции, которые указывают местоположение, высоту, скорость, ориентацию и т.п. беспилотного летательного аппарата 180, когда соответствующее изображение было захвачено. Эти данные могут использоваться в качестве контекста для создания изображения 320 сцены из нескольких изображений. Например, на основе времени и/или позиции беспилотного летательного аппарата 180 и характеристики устройства 192 формирования изображений (например, поля зрения, угла зрения и т.д.), могут быть оценены или определены географические координаты для полученного в результате изображения.
[56] В некоторых примерах модуль 220 сцены может дополнительно принимать данные 304 о транспортных средствах непосредственно от одного или более рабочих транспортных средств 130-133 или посредством доступа к хранилищу 126 данных. Данные 304 о транспортных средствах могут включать в себя данные позиции в форме местоположения, скорости и/или направления, относящихся к одному или более транспортным средствам 130-133 на рабочем участке 100. В некоторых вариантах осуществления данные 304 о транспортных средствах могут быть дополнены данными 306 парка, сохраненными в хранилище 126 данных, представляющими количество, тип и другие характеристики рабочих транспортных средств в парке. Эти данные 304, 306 могут помочь модулю 220 сцены при формировании изображения 320 сцены. Например, если транспортное средство 130-133 с известным местоположением из данных позиции в данных 304 о транспортных средствах идентифицировано в данных 302 изображения, модуль 220 сцены может использовать эту информацию, чтобы присвоить или оценить координаты для части окружающей сцены или для совпадающих смежных изображений. Дополнительные примеры могут быть обсуждены ниже.
[57] В некоторых примерах модуль 220 сцены также может принимать картографические данные 308, сохраненные в хранилище 126 данных. Картографические данные 308 могут включать в себя информацию о географии, ландшафте, наземных ориентирах и т.п. на рабочем участке 100. Эти данные, которые могут включать в себя ранее сформированные карты рабочего участка и/или изображения сцены, могут обеспечить возможность более эффективного формирования новых или обновленных изображений сцены.
[58] После приема данных 302 изображения (и, возможно, данных 304, 306, 308 других типов) модуль 220 сцены может сформировать изображение 320 сцены рабочего участка 100. Как отмечено выше, в одном примере модуль 220 сцены сшивает или иным образом объединяет несколько изображений из данных 302 изображения в полное подробное изображение 320 сцены рабочего участка 100.
[59] В общем случае сшивание сцены из нескольких изображений может быть выполнено различными методами. Например, сшивание может быть выполнено с использованием исключительно визуальной информацию из данных 302 изображения или с использованием визуальной информации из данных 302 изображения, объединенных с данными позиции и времени, соответствующими данным 302 изображения, обеспеченным устройством 192 формирования изображений. Например, когда соответствующие части изображения распознаются и сшиваются, данные позиции и времени из данных 302 изображения могут содержать информацию, которая обеспечивает первоначальную оценку для выравнивания нескольких изображений, в то время как в других примерах данные позиции и времени могут использоваться непосредственно для вычисления выравнивания нескольких изображений.
[60] В любом случае модуль 220 сцены может оценить изображения, чтобы идентифицировать части разных изображений, которые изображают одни и те же части сцены рабочего участка 100. В частности, модуль 220 сцены может соотнести координаты пикселей в соответствующем изображении с координатами пикселей в других изображениях для выравнивания, чтобы совместить части изображения относительных пар или коллекций изображений. Кроме того, отличительные особенности в каждом изображении могут быть идентифицированы, чтобы определить соответствие изображений между парами или группами изображений. В некоторых примерах картографические данные 308 с известными характеристиками отличительных особенностей может использоваться для выравнивания соответствующих изображений. Кроме того, изображения могут быть спроецированы и выровнены на сформированной составной поверхности, которая далее позволяет смешать накладывающиеся изображения, в том числе с учетом разностей в освещении, параллаксе, движении, искажении линзы и экспозиции.
[61] В некоторых примерах модуль 220 сцены может дополнительно использовать данные 304 о транспортных средствах и данные 306 парка, чтобы обеспечить возможность сшивания и/или абстракции изображения сцены рабочего участка 320. Например, модуль 220 сцены может использовать информацию позиции, направления и скорости одного или более рабочих транспортных средств 130-133, чтобы обеспечить возможность сопоставления изображений, и/или такие данные могут использоваться, чтобы избежать артефактов, которые могут в ином случае возникнуть в результате движения такого транспортного средства.
[62] Хотя функции сшивания обсуждаются со ссылкой на систему 110 мониторинга, реализованную в центре 120 управления, в одном примере некоторые или все функции сшивания могут быть выполнены на борту беспилотного летательного аппарата 180. В частности, модуль 220 сцены может принимать данные 302 изображения как полный вид рабочего участка для формирования изображения 320 сцены.
[63] В некоторых примерах модуль 220 сцены может дополнительно подвергнуть одну или более характеристик изображения 320 сцены некоторой абстракции. Обычно "абстракция" может рассматриваться как выбор и обобщение признаков в изображении, и затем классификация, упрощение, преувеличение, представление в виде символов и индукция таких признаков. Например, дороги, области и границы, представляющие интерес в изображении, могут быть идентифицированы и выделены или помечены в изображении сцены 320. Абстракция может быть основана на картографических данных 308 или данных 310 о работе, сохраненных в хранилище 126 данных. Например, дорога может быть идентифицирована или распознана в изображении сцены и подтверждена или дополнена данными 306, 308, в результате чего изображение дороги может быть заменено или покрыто символикой, представляющей дорогу, и/или текстовой символикой с названием дороги. В других вариантах осуществления после соотнесения пикселей изображения с географическими координатами географические координаты, соответствующие элементам, представляющим интерес в данных 306, 308, могут использоваться для формирования и размещения соответствующей символики в изображении 320 сцены. Дополнительные примеры обсуждаются ниже.
[64] В соответствии с этим модуль 220 сцены формирует изображение 320 сцены, которое обеспечивает полное подробное изображение рабочего участка 100, и в одном примере может дополнительно включать в себя некоторый уровень абстракции. Дополнительные подробности относительно изображения 320 сцены обсуждаются ниже.
[65] Как отмечено выше, система 110 мониторинга дополнительно включает в себя модуль 240 объектов. В одном примере модуль 240 объектов функционирует для формирования символики 340 объектов, соответствующей объектам на рабочем участке 100. В общем случае "объекты" соответствуют рабочим транспортным средствам 130-133 и другому оборудованию на рабочем участке 100. "Объекты" также могут включать в себя материалы, запасы и ресурсы на рабочем участке 100. Дополнительные примеры могут быть обсуждены ниже.
[66] Модуль 240 объектов может принять одни или более из данных 302 изображения, данных 304 о транспортных средствах, данных 306 парка и картографических данных 308. В общем случае модуль 240 объектов функционирует для идентификации, классификации, оценки и/или абстракции одного или более объектов на рабочем участке 100.
[67] В качестве примера модуль 240 объектов может использовать распознавание изображения, чтобы идентифицировать рабочие транспортные средства 130-133 в изображениях рабочего участка из данных 302 изображения. В частности, модуль 240 объектов может идентифицировать позицию (например, местоположение, направление и ориентацию) транспортных средств 130-133. Эта функция может быть обеспечена посредством одних или более из данных 304 о транспортных средствах и данных 306 парка, например, на основе сообщенных и/или ожидаемых характеристик каждого транспортного средства 130-133. В некоторых примерах модуль 240 объектов может использовать распознавание изображения, чтобы идентифицировать объекты помимо рабочих транспортных средств на рабочем участке 100, такие как сбившиеся с маршрута транспортные средства или персонал. Как описано ниже, с течением времени объекты, идентифицированные модулем 240 объектов, могут отслеживаться для предоставления дополнительной информации, включенную в символику 340 объектов.
[68] После идентификации объектов модуль 240 объектов может классифицировать объект, например, посредством определения типа и/или назначения объекта на рабочем участке 100. Например, модуль 240 объектов может определить или распознать, что рабочие транспортные средства 130, 131 представляют собой самосвалы, и рабочие транспортные средства 132, 133 представляют собой экскаваторы-погрузчики с обратным ковшом. В некоторых примерах модуль 240 объектов также может классифицировать текущий статус объекта, в частности, рабочих транспортных средств 130-133. Например, модуль 240 объектов может определить наличие или количество материала или груза в рабочем инструменте рабочего транспортного средства 130-133, или модуль 240 объектов может определить, что рабочее транспортное средство 130-133 перемещается в конкретное местоположение или от конкретного местоположения. Такая информация может быть выведена из данных 302 изображения (например, распознана в изображениях) и/или данных 304 о транспортных средствах (например, сообщена соответствующим транспортным средством). В дополнительных примерах данные 304 о транспортных средствах, сообщенные транспортным средством 130-133, или данные 306 парка, отраженные записями обслуживания для идентифицированного рабочего транспортного средства 130-133, могут включать в себя информацию о работоспособности, такую как диагностические коды проблем. Эта информация о работоспособности может использоваться для оценки статуса или пригодности каждого транспортного средства 130-133.
[69] После классификации модуль 240 объектов может выполнить абстракцию одного или более аспектов объектов и сформировать символику 340 объекта на основе этой абстракции. Например, символика 340 объекта, сформированная модулем 240 объектов, может включать в себя упрощенные изображения или символы, соответствующие каждому объекту, чтобы выделить объект или дать возможность более непосредственного визуального распознавания. Кроме того, символика 340 объекта, сформированных модулем 240 объектов, может обеспечить символическое представление статуса или информации других типов, соответствующие объекту. Например, символика 340 объекта может отражать тип рабочего транспортного средства, количество материала в рабочем транспортном средстве 130-133, статус рабочего транспортного средства 130-133 и/или движение рабочего транспортного средства 130-133. Символика 340 объекта также может отражать определение, что объект был идентифицирован как являющийся неавторизованным или нераспознанным как рабочее транспортное средство 130-133, а также движение таких объектов во времени. Как правило, каждый элемент символики объекта соответствует координатным данным, представляющим позицию соответствующего элемента на рабочем участке 100 и/или относительно изображения 320 сцены.
[70] В соответствии с этим модуль 240 объектов формирует символику 340 объекта, представляющую абстракцию идентифицированных объектов на рабочем участке. Как описано более подробно ниже, символика 340 объекта может быть включена в карты рабочего участка посредством замены или маскирования частей изображения 320 сцены, соответствующих реальному объекту.
[71] Примеры символики 340 объектов изображены на фиг. 4A-4E и фиг. 5A-5E. Следует отметить, что примеры символики 340 объектов на фиг. 4A-4E и фиг. 5A-5E являются лишь примерами, и могут использоваться другие типы символики.
[72] Фиг. 4A является графическим символом 410, который может использоваться для представления рабочего транспортного средства как экскаватора-погрузчика с обратным ковшом (например, рабочего транспортного средства 132, 133). В одном примере, в частности, по сравнению с символами, обсуждаемыми ниже, символ 410 экскаватора-погрузчика с обратным ковшом на фиг. 4А лишен особенностей или бесцветен, и это может представлять, что соответствующий экскаватор-погрузчик с обратным ковшом не работает, например, в настоящее время не перемещается и не используется.
[73] Фиг. 4B является графическим символом 420, который может использоваться для представления рабочего транспортного средства как экскаватора-погрузчика с обратным ковшом (например, рабочего транспортного средства 132, 133). В этом примере символ 420 экскаватора-погрузчика с обратным ковшом имеет выделенные колеса (например, другим цветом, яркостью и т.д.), и это может представлять, что соответствующий экскаватор-погрузчик с обратным ковшом находится в движении из одной позиции в другую.
[74] Фиг. 4C является графическим символом 430, который может использоваться для представления рабочего транспортного средства как экскаватора-погрузчика с обратным ковшом (например, рабочего транспортного средства 132, 133). В этом примере символ 430 экскаватора-погрузчика с обратным ковшом имеет выделенный инструмент экскаватора с обратным ковшом (например, другим цветом, яркостью и т.д.), и это может представлять, что инструмент экскаватора с обратным ковшом, соответствующий экскаватору-погрузчику с обратным ковшом, в настоящее время используется.
[75] Фиг. 4D является графическим символом 440, который может использоваться для представления рабочего транспортного средства как экскаватора-погрузчика с обратным ковшом (например, рабочего транспортного средства 132, 133). В этом примере символ 440 экскаватора-погрузчика с обратным ковшом имеет выделенный инструмент погрузчика (например, другим цветом, яркостью и т.д.), и это может представлять, что инструмент погрузчика, соответствующий экскаватору-погрузчику с обратным ковшом, в настоящее время используется.
[76] Фиг. 4E является графическим символом 450, который может использоваться для представления рабочего транспортного средства как экскаватора-погрузчика с обратным ковшом (например, рабочего транспортного средства 132, 133). В этом примере символ 450 экскаватора-погрузчика с обратным ковшом частично заслонен символом гаечного ключа, и это может представлять, что соответствующий экскаватор-погрузчик с обратным ковшом требует обслуживания. Такие требования к обслуживанию могут быть обозначены диагностическими кодами проблем, которые могут являться частью данных 304 о транспортном средстве (фиг. 3).
[77] Фиг. 5A является графическим символом 510, который может использоваться для представления рабочего транспортного средства как самосвала (например, рабочего транспортного средства 130, 131). В одном примере, в частности, по сравнению с символами, обсуждаемыми ниже, символ 510 самосвала на фиг. 5А лишен особенностей или бесцветен, и это может представлять, что соответствующий самосвал не работает.
[78] Фиг. 5B является графическим символом 520, который может использоваться для представления рабочего транспортного средства как самосвала (например, рабочего транспортного средства 130, 131). В этом примере символ 520 самосвала включает в себя груз в кузове (например, другого цвета, яркости и т.д.), и это может представлять, что, соответствующий самосвал загружен.
[79] Фиг. 5C-5E являются дополнительными примерами графических символов 530, 540, 550, которые могут использоваться для представления рабочего транспортного средства как самосвала (например, рабочего транспортного средства 130, 131). В дополнение к примеру на фиг. 5B, графические символы 530, 540, 550 на фиг. 5C-5E включают в себя штриховку или цвета на грузе в кабине для представления статуса соответствующего самосвала и/или природы груза. Например, штриховка символа 530 может указывать, что груз представляет собой конкретный вид материала. Штриховка символа 540 может указывать, что груз транспортируется в первую позицию, и штриховка символа 550 может указывать, что груз транспортируется во вторую позицию. Иллюстративное использование символики объектов, представленной на фиг. 4A-4E и 5A-5E, обсуждается ниже.
[80] Вернемся к фиг. 3, на которой система 110 мониторинга дополнительно включает в себя модуль 260 производительности. В одном примере модуль 260 производительности может принимать одни или более из данных 302 изображения, данных 304 о транспортном средстве, картографических данных 308 и данных 310 о работе. Данные 310 о работе соответствуют информации планирования, относящейся к рабочему участку 100, такой как список или временная шкала задач для выполнения работы в целом. Данные 310 о работе могут быть обеспечены посредством пользовательского ввода или доступа к хранилищу 126 данных. В качестве примера данные 310 о работе могут, в частности, обеспечивать контекстную информацию для задачи или работ и могут включать в себя параметры производительности, измерения или этапы, которые специфичны для задач, выполняемых на рабочем участке 100. В качестве примера, если задача имеет отношение к траншее, данные 310 о работе могут определить желаемую глубину, длину или норму для конкретного этапа или для завершения. Другой пример может включать в себя количество или норму материальных грузов, доставленных или увезенных рабочими транспортными средствами 130-133 на рабочем участке 100. Данные 310 о работе могут обновляться по мере завершения задач или частей задач. Например, когда грузы доставлены в область задачи или увезены из области задачи (в зависимости от природы области задачи), количество оставшихся грузов, отраженное в данных 310 о работе, может быть соответствующим образом скорректировано. Данные 310 о работе могут дополнительно по желанию отражать данные от весов полезной нагрузки погрузчика, от весов полезной нагрузки самосвала или из автоматизированных систем расчетов, чтобы обеспечить дополнительную контекстную информацию относительно задач на рабочем участке 100.
[81] После приема по меньшей мере данных 302 изображения и данных 310 о работе модуль 260 производительности оценивает данные 302 изображения, чтобы определить ход выполнения, относящийся к задачам или работе. В частности, модуль 260 производительности может идентифицировать местоположение задачи в изображениях данных 302 изображения и оценить одну или более характеристик задачи с учтем данных 310 о работе. Такие характеристики могут включать в себя количество материала в местоположении задачи и/или размер здания или структуры в местоположении задачи в зависимости от природы задачи. Модуль 260 производительности затем может сравнить наблюдаемую характеристику в изображениях данных 302 изображения с ожидаемой или намеченной характеристикой на настоящий момент времени и/или для выполненной задачи из данных 310 о работе. Примеры представлены ниже.
[82] В некоторых вариантах осуществления данные 304 о транспортных средствах могут использоваться модулем производительности 260, чтобы идентифицировать ход выполнения для завершения задачи. Например, ход выполнения может быть оценен на основе количества рабочих транспортных средств 130-133 в области задачи; информации о том, прибывают ли транспортные средства 130-133 в область задачи или покидают область задачи; и/или информации о том, сколько рабочих транспортных средств 130-133 прибыло в область задачи или покинуло область задачи.
[83] В некоторых вариантах осуществления картографические данные 308 могут использоваться модулем 260 производительности для оценки хода выполнения задачи. Например, модуль 260 производительности может сравнить настоящие изображения из данных 302 изображения с новыми картографическими данными 308, чтобы определить расхождения, соответствующие характеристикам задачи. Такие расхождения могут быть выявлены из сравнения контура, топологии, возвышения или другой информации о ландшафте (например, чтобы идентифицировать удаленный или добавленный материал) в соответствии с методиками анализа контуров для оценки характеристик ландшафта в области задачи. Модуль 260 производительности затем может оценить расхождения для определения хода выполнения.
[84] После оценки одной или более характеристик задач модуль 260 производительности может сформировать символику 360 работы, которая представляет текущий статус задачи или работы. Обычно символика 360 работы может изображать ход выполнения задачи или работы относительно ближайшей предыдущей оценки относительно ожидаемого хода исполнения или относительно задачи, или работы в целом. Дополнительные подробности относительно символики 360 работы будут обсуждены ниже.
[85] Модуль 280 карты может принять изображение 320 сцены, символику 340 объекта и/или символику 360 работы. Модуль 280 карты также может принять одни или более данных 302 изображения, данных 304 о транспортных средствах, данных 306 парка, картографических данных 308 и/или данных 310 о работе. После приема модуль 280 карты формирует карту 380 рабочего участка. В одном варианте осуществления карта 380 рабочего участка может быть сформирована посредством изображения 320 сцены, на которое затем накладываются или которое модифицируется с помощью символики 340 объекта и/или символики 360 работы. Например, символика 340 объекта может покрыть, заменить или иным образом выделить соответствующие участки изображения объекта в изображении 320 сцены, и символика 360 работы может аналогичным образом покрыть, заменить или иным образом выделить соответствующую работу или относящиеся к задаче участки изображения в изображении 320 сцены.
[86] В одном варианте осуществления характеристики изображения 320 сцены, символика 340 объекта и символика 360 работы, изображенные на карте 380 рабочего участка, могут быть определены или предопределены. В других вариантах осуществления система 110 мониторинга может сформировать меню графического пользовательского интерфейса, которое позволяет оператору выбирать желаемые характеристики для описания. Пример обсуждается более подробно ниже. В таких вариантах осуществления выбор оператора может использоваться модулем 280 карты, чтобы определить признаки, изображенные на карте 380 рабочего участка.
[87] После формирования посредством модуля 280 карты карта 380 рабочего участка может быть передана оператору центра 120 управления и/или операторам рабочих транспортных средств 130-133. В частности, карта 380 рабочего участка может быть передана посредством компонента 122 связи центра 120 управления рабочим транспортным средствам 130-133 через сеть 102 связи. После приема оператор рабочих транспортных средств 130-133 может просмотреть карту 380 рабочего участка на дисплее (например, на дисплее 154). Относительно карты 380 рабочего участка следует понимать, что карта может принимать различные формы для использования операторами и/или оборудованием в соответствии с представленными в настоящей заявке вариантами осуществления. Карта 380 рабочего участка может быть сформирована для отображения на устройстве с электронным дисплеем (например, на карманном устройстве или на дисплее на приборной панели транспортного средства), в том числе на описанных выше. На практике карта 380 рабочего участка может представлять собой двухмерный графический дисплей, трехмерный графический дисплей или комбинацию элементов двухмерного и трехмерного графических дисплеев. Карта 380 рабочего участка также может быть сохранена в хранилище 126 данных, чтобы обеспечить возможность формирования будущих карт рабочего участка.
[88] Фиг. 6 является примером карты 600 рабочего участка (например, соответствующей карте 380 рабочего участка на фиг. 3), которая может быть формирована для оператора. Как описано ниже, рабочий участок, изображенный посредством карты 600 рабочего участка, определен границей и в этом примере включает в себя две области задач (в общем случае обозначенные как области 602, 604). В частности, в этом примере первая область 602 задачи относится к рытью подвала, и вторая область 604 задачи относится к рытью траншеи. Несколько рабочих транспортных средств перемещаются в области 602, 604 задач и из областей 602, 604 задач по дорогам через рабочий участок и/или работают в областях задач. Как также описано ниже, карта 600 рабочего участка включает в себя изображение 610 сцены и символику 612, 614, 615, 616, 617, 621-627, 630 различных типов, представляющую характеристики рабочего участка.
[89] Карта 600 рабочего участка включает в себя изображение 610 сцены, которое, как обсуждалось выше, может быть сформировано посредством сшивания нескольких изображений от одного или нескольких беспилотных летательных аппаратов 180. В частности, изображение 610 сцены может являться фактическим визуальным изображением окружающей среды рабочего участка 100, на которое наложена обсуждаемая ниже символика. Как показано, изображение 610 сцены изображает ландшафт, растительность, препятствия и т.п. рабочего участка.
[90] В некоторых примерах изображение 610 сцены может дополнительно включать в себя некоторый уровень абстракции или символику сцены, которые функционируют для предоставления дополнительной информации о рабочем участке 100. Примеры включают в себя границы 612 рабочего участка, метки 614, 615 областей задач и/или выделенные дороги или проходы 616, 617, которые размещены в изображении 610 сцены в подходящих местоположениях.
[91] На изображение 610 сцены дополнительно наложена символика 621-627 объектов различных типов. Как обсуждалось выше, символика 621-627 объектов может представлять абстракцию объектов на рабочем участке, включающем в себя рабочие транспортные средства и другое оборудование. На фиг. 6 символика объектов включает в себя символы 621-627 рабочих транспортных средств, которые отображены на карте 600 рабочего участка для обеспечения указания местоположения рабочих транспортных средств на рабочем участке. Символы 621-627 рабочих транспортных средств также могут обеспечить контекст и информацию статуса о соответствующем транспортном средстве, некоторые из которых обсуждались выше со ссылкой на фиг. 4A-4E и фиг. 5A-5E. В примере на фиг. 6 символы 621-627 рабочих транспортных средств указывают конкретный тип транспортного средства, например, символы 621, 622 рабочих транспортных средств представляют экскаваторы-погрузчики с обратным ковшом, и символы 623-627 рабочих транспортных средств представляют самосвалы. Символ 621 рабочего транспортного средства указывает, что погрузчик экскаватора-погрузчика с обратным ковшом является активным, и символ 622 рабочего транспортного средства указывает, что обратный ковш экскаватора-погрузчика с обратным ковшом является активным. Символ 623 рабочего транспортного средства указывает, что самосвал перемещается из области 602 задачи с грузом материала первого типа. Символы 624, 625 рабочих транспортных средств указывают, что самосвалы перемещаются в область 604 задачи с грузом материала второго типа, и символы 626, 627 рабочих транспортных средств указывают, что самосвалы перемещаются из области 604 задачи без грузов.
[92] Как представлено выше, символы 621-627 транспортных средств могут отражать ли информацию о работоспособности или статусе каждого транспортного средства на рабочем участке. Такая информация может использоваться оператором, чтобы оценить возможности парка при назначении транспортных средств на конкретные задачи, и/или операторами по техническому обслуживанию, которые могут направлены на обслуживание транспортного средства.
[93] На изображение 610 сцены может быть дополнительно наложена символика 630, 640 работ, которая в этом примере представлена для двух областей 602, 604 задач. Как отмечалось выше, символика 630, 640 работ может функционировать для изображения хода выполнения соответствующей задачи. Например, в области 602 задачи выкапывается подвал. Область 602 задачи включает в себя символику 630, в целом представляющую полный размер подвала, которая наложена на изображении 610, на котором первая часть 634 в целом представляет законченную часть подвала, и вторая часть 636 представляет незаконченную часть подвала. В качестве другого примера, в области 604 задачи выкапывается траншея. Область 604 задачи включает в себя символику 640, в целом представляющую полный размер траншеи, которая наложена на изображение 610, на котором первая часть 644 представляет законченную часть траншеи, и вторая часть 646 представляет незаконченную часть траншеи. Таким образом, эта символика 630, 640 обеспечивает указание относительно природы, размера и хода выполнения соответствующих задач.
[94] Любой тип характеристики работы (или производительности) может быть представлен символикой, и такая символика может принимать различные формы. Например, символика работы может быть в форме числа, представляющего принятые или выполненные порядки. Дополнительный контекст может отражать поток материалов посредством перекрестных ссылок информации о весе полезной нагрузки транспортного средства и маршрута перевозки на карте (например, с использованием данных 304 о транспортных средствах и/или данных 302 изображения). Дополнительная символика работы может быть реализована посредством закодированной цветом символики на основе разности высот между топографическим снимком, сделанным беспилотным летательным аппаратом, представленным в данных 302 изображения, и целевой топографией поверхности, представленной в данных 310 о работе.
[95] Теперь со ссылкой на фиг. 7, а также продолжая ссылку на фиг. 1-6, блок-схема последовательности этапов иллюстрирует способ 700, который может быть выполнен системой 110 мониторинга, в соответствии с настоящим раскрытием. Как можно понять в свете раскрытия, порядок операций в способе 700 не ограничен последовательным исполнением, иллюстрированным на фиг. 7, и может быть выполнен в одном или более измененных порядках, применимых в соответствии с настоящим раскрытием. Кроме того, один или более этапов могут быть опущены и/или добавлены дополнительные этапы.
[96] В одном примере способ 700 начинается на этапе 705. На этапе 705 системой 110 мониторинга инициируется формирование карты рабочего участка. Сбор изображений и/или формирование карт рабочего участка могут быть инициированы многими методами, в том числе ручным запросом оператора в рабочем транспортном средстве 130-133 или в центре 120 управления. В некоторых примерах такие функции могут быть инициированы по плану, например, каждый час или ежедневно, по мере необходимости.
[97] В некоторых вариантах осуществления оператор может настроить или иным образом обеспечить пользовательский ввод относительно типа информации, которая будет отображена на карте рабочего участка. Этот пользовательский ввод может быть обеспечен оператором, инициирующим карту рабочего участка на этапе 705, или обеспечена оператором, рассматривающим карту рабочего участка (например, на этапе 765). Кратко делается ссылка на фиг. 8, которая является меню 800 графического пользовательского интерфейса, которое может быть представлено оператору на дисплее человеко-машинного интерфейса (например, в рабочих транспортных средствах 130-133 и/или центре 120 управления). Как показано, меню 800 представляет выбираемые варианты 810, 820, 830 элементов, представляющих символики, доступные для вставки в карту рабочего участка. Как показано, выбираемые варианты 810, 820, 830 элементов могут быть организованы как варианты 810 абстракции изображения сцены, варианты 820 абстракции объекта и/или варианты 830 абстракции производительности. Каждый вариант 810, 820, 830 может быть далее подразделен на более конкретные типы абстракции или типы, как показано. После указания выбора (например, посредством отметки или щелчка с помощью устройства управления курсором или сенсорного экрана) оператор может инициировать формирование или отображение карты рабочего участка, включающей в себя выбранные варианты, посредством выбора элемента 802 "Продолжить".
[98] Вернемся к способу 700 на фиг. 7, в котором на этапе 710 система 110 мониторинга принимает данные 302 изображения от одного или более беспилотных летательных аппаратов 180. Как отмечалось выше, беспилотный летательный аппарат 180 может использовать предварительно заданный курс полета, чтобы покрыть весь рабочий участок в предварительно заданном интервале, или в случае нескольких беспилотных летательных аппаратов 180 покрыть назначенную секцию рабочего участка в предварительно заданном отрезке времени или синхронно с другим беспилотным летательным аппаратом 180. Беспилотный летательный аппарат 180 захватывает достаточное количество изображений, чтобы обеспечить возможность создания полностью обновленного изображения рабочего участка для этого интервала.
[99] На этапе 715 система 110 мониторинга также может принять дополнительные данные, такие как данные 304 о транспортных средствах, данные 306 парка и данные 310 о работе. Как отмечалось выше, эти дополнительные данные могут быть в виде данных позиции транспортного средства, данных о плане, данных об обслуживании или работоспособности и т.п.
[100] На этапе 720 система 110 мониторинга сшивает или иным образом объединяет изображения из данных 302 изображения, чтобы создать полное изображение 320 сцены. Как отмечалось выше, в некоторых вариантах осуществления система 110 мониторинга может принять полное изображение рабочего участка от беспилотного летательного аппарата 180, хотя в общем случае изображения объединяются системой мониторинга, тем самым потенциально позволяя более эффективную работу беспилотного летательного аппарата 180 и/или дополнительную обработку изображений с помощью данных, хранящихся в системе 110 мониторинга.
[101] На этапе 725 система 110 мониторинга может выполнить абстракцию одного или более аспектов изображения 320 сцены. Примеры включают в себя дороги, области задач, границы и информацию о сцене других типов.
[102] На этапе 730 система 110 мониторинга обнаруживает и классифицирует один или более объектов в данных 302 изображения, например, посредством использования распознавания изображения для оценки изображения. Возможность такого обнаружения и классификации может быть обеспечена посредством данных 304 о транспортных средствах и/или данных 306 парка.
[103] На этапе 735 система 110 мониторинга может отслеживать один или более объектов на рабочем участке 100, например, посредством сравнения данных 302 текущего изображения с данными предыдущего изображения или картами рабочего участка. В одном примере модуль 240 объектов может выполнить эту операцию отслеживания посредством идентификации объектов в данных текущего изображения, идентификации соответствующих объектов в данных предыдущего изображения или в предыдущих картах рабочего участка и сравнения позиции соответствующих объектов, чтобы определить перемещение таких объектов с течением времени. Отслеживаемые объекты могут представлять собой рабочие транспортные средства 130-133, авторизованные или сбившиеся с маршрута транспортные средства или персонал, и/или оборудование или материал других типов на рабочем участке 100. В качестве примера такое отслеживание может использоваться системой 110 мониторинга для инвентаризации или определения местоположения материалов и/или оборудования для описания на карте рабочего участка и/или для других систем центра управления.
[104] На этапе 740 система 110 мониторинга может выполнить абстракцию одного или более объектов на рабочем участке 100. Такая символика 340 объекта дает возможность более непосредственного распознавания и понимания ситуации и релевантную информацию для наблюдателя.
[105] На этапе 745 система 110 мониторинга может идентифицировать и определить одну или более характеристик области задачи рабочего участка на основе изображений в данных 302 изображения. В частности, система 110 мониторинга может идентифицировать и определить топографию области задачи. На этапе 750 система 110 мониторинга может оценить характеристики с учетом контекста производительности. Контекст производительности может быть определен или выведен из данных 310 о работе. На этапе 755 система 110 мониторинга может сформировать символику 360 работы на основе оцененных характеристик. Такая символика 360 дает возможность более непосредственного распознавания и понимания ситуации и релевантную информацию для наблюдателя.
[106] На этапе 765 система 110 мониторинга может сформировать карту 380 рабочего участка. В одном примере карта рабочего участка может быть сформирована посредством наложения символики 340 объекта и символики 360 работы на изображение 320 сцены. Как отмечалось выше, символика, включенная в карту 380 рабочего участка, может быть основана на пользовательских выборах.
[107] На этапе 765 система 110 мониторинга может передать карту рабочего участка одному или более операторам для отображения. Как представлено выше, операторы могут принимать различные формы, в том числе операторов в рабочих транспортных средствах, операторов в центре управления, дистанционных операторов или операторов портала, операторов по техническому обслуживанию и т.д.
[108] В соответствии с этим обсуждавшиеся здесь варианты осуществления обеспечивают карты рабочего участка с изображениями сцены на которые наложена символика, которая акцентирует природу, количество, тип и полезность информации, передаваемой оператору. Примеры используют данные из различных систем и источников, в том числе информацию о планировании работы, информацию о транспортных средствах, информацию парка и т.п. для создания подробной карты рабочего участка.
[109] Карты рабочего участка особенно полезны на рабочих участках, на которых полный размер и изменяющаяся природа ландшафта и задач могут в ином случае сделать отслеживание достаточной сложным проектом, особенно для оператора, который не знаком или относительно плохо знаком с рабочим участком. В соответствии с различными вариантами осуществления один или более беспилотных летательных аппаратов используются для обеспечения изображений, которые облегчают осуществление мониторинга, оценку и отображение рабочего участка, что будет полезно для выполнения задач или работ. В некоторых вариантах осуществления каждому рабочему транспортному средству может быть предоставлена карта рабочего участка, которая позволяет улучшить понимание, контекст или функционирование при выполнении обязанностей по задаче. Таким образом, формирование, обновление и обслуживание таких карт рабочего участка полезно для осуществляемого управления рабочим участком.
[110] Хотя в целом варианты осуществления обсуждались выше в контексте участка строительных работ, они применимы к другим типам рабочих участков, например, в сельском хозяйстве, лесной промышленности и горнодобывающей промышленности. Иллюстративные рабочие транспортные средства для реализации включают в себя тракторы, комбайны, уборочные машины, краны для укладки древесины, подвесные установки, валочно-пакетирующие машины и т.д. Один конкретный пример может включать в себя сельскохозяйственный рабочий участок, на котором валковая сенокосилка собирает урожай, и упаковочный пресс собирает и спрессовывает урожай в брикеты, и, таким образом, формирование карты рабочего участка может облегчить совместную работу при идентификации рабочих позиций и хода выполнения задачи. В целом системы и способы мониторинга могут обеспечить карты рабочего участка при различных обстоятельствах, при которых несколько рабочих транспортных средств совместно работают для выполнения одной или более задач в рамках работы, в частности, в окружающих средах с внутренними источниками данных, которые могут предоставить дополнительную информацию для усиления или же абстрагирования аспектов карты, сформированной наложенными изображениями.
[111] Специалисту в области техники очевидно, что определенные аспекты раскрытого изобретения могут быть воплощены как способ, система (например, система управления рабочей машиной, включенная в рабочую машину) или компьютерный программный продукт. В соответствии с этим некоторые варианты осуществления могут быть реализованы полностью как аппаратные средства, полностью как программное обеспечение (в том числе программно-аппаратное обеспечение, резидентное программное обеспечение, микрокод и т.д.) или как комбинация программного и аппаратного (и других) аспектов. Кроме того, некоторые варианты осуществления могут принять форму компьютерного программного продукта на применимом на компьютере запоминающем носителе, воплощающем применимый на компьютере программный код в носителе.
[112] Может быть использован любой подходящий применимый компьютер или компьютерночитаемый носитель. Применимый на компьютере носитель может представлять собой компьютерночитаемый носитель сигнала или компьютерночитаемый запоминающий носителем. Применимый на компьютере или компьютерночитаемый запоминающий носитель (в том числе запоминающее устройство, связанное с вычислительным устройством или клиентским электронным устройством) может представлять собой, например, но без ограничения, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, устройство или аппарат, или любую подходящую комбинацию упомянутого выше. Более конкретные примеры (не исчерпывающий список) компьютерночитаемого носителя включают в себя следующее: электрическое соединение, имеющее один или несколько проводов, переносную компьютерную дискету, жесткий диск, оперативное запоминающее устройство (ОЗУ; RAM), постоянное запоминающее устройство (ПЗУ; ROM), стираемое программируемое постоянное запоминающее устройство (СППЗУ; EPROM или флэш-память), оптоволокно, переносной компакт-диск, предназначенный только для чтения (CD-ROM), оптическое запоминающее устройство. В контексте этого документа применимый на компьютере или компьютерночитаемый запоминающий носитель может представлять собой любой материальный носитель, который может содержать или хранить программу для использования посредством системы, устройства или аппарата для исполнения инструкций или совместно с системой, устройством или аппаратом для исполнения инструкций.
[113] Компьютерночитаемый носитель сигнала может включать в себя распространяемый сигнал данных с компьютерночитаемым программным кодом, воплощенным в нем, например, в основной полосе частот или как часть несущей. Такой распространяемый сигнал может принимать любую из множества форм, в том числе, но без ограничения, электромагнитную, оптическую или любую подходящую их комбинацию. Компьютерночитаемый носитель сигнала может быть неизменяемым и может являться любым компьютерночитаемым носителем, который не является компьютерночитаемым запоминающим носителем, и который может передавать, распространять или транспортировать программу для использования посредством системы, устройства или аппарата для исполнения инструкций или совместно с системой, устройством или аппаратом для исполнения инструкций.
[114] Если не ограничено и не изменено иным образом, используемые в настоящем документе списки с элементами, которые разделяются соединительными словами (например, "и"), и которым также предшествует фраза "один или более" или "по меньшей мере один из", указывают конфигурации или размещения, которые потенциально включают в себя индивидуальные элементы списка, или любую их комбинацию. Например, фраза "по меньшей мере один из A, B и C" или "один или более из A, B и C" указывает следующие возможности: только A, только B, только C или любая комбинация из двух или более из A, B и C (например, A и B; B и C; A и C; или A, B и C).
[115] Используемый в настоящем документе термин "модуль" обозначает любые аппаратные средства, программное обеспечение, программно-аппаратное обеспечение, электронный компонент управления, логическую схему обработки и/или устройство процессора, индивидуально или в любой комбинации, в том числе, но без ограничения: специализированную интегральную схему (ASIC), электронную схему, процессор (совместно используемый, выделенный или группу) и память, которые исполняют одну или более программ или микропрограмм, комбинационную логическую схему и/или другие подходящие компоненты, которые обеспечивают описанную функциональность.
[116] Варианты осуществления настоящего раскрытия могут быть описаны в настоящем документе с точки зрения функциональных и/или компонентов логических блоков и различных этапов обработки. Следует понимать, что такие компоненты блоков могут быть реализованы посредством любого количества аппаратных, программных и/или программно-аппаратных компонентов, выполненных с возможностью выполнить заданные функции. Например, вариант осуществления настоящего раскрытия может использовать различные компоненты интегральной схемы, например, элементы памяти, элементы цифровой обработки сигналов, логические элементы, таблицы поиска и т.п., которые могут выполнить множество функций под управлением одного или более микропроцессоров, или других управляющих устройств. Кроме того, специалисты в области техники поймут, что варианты осуществления настоящего раскрытия могут быть осуществлены на практике вместе с любым количеством рабочих транспортных средств.
[117] Для краткости традиционные методики, относящиеся к обработке сигналов, передаче данных, сигнализации, управлению и другим функциональным аспектам систем (и индивидуальным операционным компонентам систем) могут не быть описаны подробно в настоящем документе. Кроме того, соединительные линии, показанные на различных фигурах, содержащихся в настоящем документе, предназначены для того, чтобы представлять иллюстративные функциональные соотношения и/или физические сопряжения между различными элементами. Следует отметить, что в варианте осуществления настоящего раскрытия могут присутствовать многие альтернативные или дополнительные функциональные соотношения или физические соединения.
[118] Аспекты некоторых вариантов осуществления, описанные в настоящем документе, могут быть описаны со ссылкой на иллюстративные схемы последовательности этапов и/или блок-схемы способов, устройств (систем) и компьютерных программных продуктов в соответствии с вариантами осуществления изобретения. Следует понимать, что каждый блок любых таких иллюстративных схем последовательности этапов и/или блок-схем и комбинаций блоков на таких иллюстративных схемах последовательности этапов и/или блок-схемах может быть реализован компьютерными программными инструкциями. Эти компьютерные программные инструкции могут быть обеспечены процессору универсального компьютера, специализированного компьютера или другого программируемого устройства обработки данных, чтобы произвести машину, в результате чего инструкции, которые исполняются посредством процессора компьютера или другого программируемого устройства обработки данных, создают средства для реализации функций/действий, указанных в блоке или блоках схемы последовательности этапов и/или блок-схемы.
[119] Эти компьютерные программные инструкции также могут быть сохранены в компьютерночитаемой памяти, которая может предписать компьютеру или другому программируемому устройству обработки данных функционировать конкретным образом, в результате чего инструкции, сохраненные в компьютерночитаемой памяти, создают изделие, включающее в себя инструкции, которые реализуют функцию/действие, указанные в блоке или блоках схемы последовательности этапов и/или блок-схемы.
[120] Компьютерные программные инструкции также могут быть загружены на компьютер или другое программируемое устройство обработки данных для выполнения последовательности функциональных этапов на компьютере или другом программируемом устройстве, чтобы произвести реализованный с помощью компьютера процесс, в результате чего инструкции, которые исполняются на компьютере или другом программируемом устройстве, обеспечивают этапы для реализации функций/действий, указанных в блоке или блоках схемы последовательности этапов и/или блок-схемы.
[121] Любые схемы последовательности этапов и блок-схемы на фигурах или подобное приведенное выше обсуждение могут проиллюстрировать архитектуру, функциональность и работу возможных реализаций систем, способов и компьютерных программных продуктов в соответствии с различными вариантами осуществления настоящего раскрытия. В связи с этим каждый блок в схемах последовательности этапов или блок-схемах может представлять модуль, сегмент или участок кода, который содержит одну или более исполняемых инструкций для реализации заданной логической функции (функций). Также следует отметить, что в некоторых альтернативных реализациях функции, отмеченные в блоке (или иным образом описанные в настоящем документе), могут возникнуть из порядка, отмеченного на фигурах. Например, два блока, показанные последовательно один за другим (или две операции, описанные последовательно одна за другой), фактически могут быть исполнены в значительной степени одновременно, или блоки (или операции) могут иногда исполняться в обратном порядке в зависимости от рассматриваемой функциональности. Также следует отметить, что каждый блок любой блок-схемы и/или иллюстративной схемы последовательности этапов и комбинации блоков в любых блок-схемах и/или иллюстративных схемах последовательности этапов могут быть реализованы посредством специализированных систем на основе аппаратных средств, которые выполняют заданные функции или действия, или комбинации специализированных аппаратных средств и компьютерных инструкций.
[122] Терминология, используемая в настоящем документе, предназначена только в целях описания конкретных вариантов осуществления и не предназначена для ограничения раскрытия. Подразумевается, что используемые в настоящем документе формы единственного числа также включают в себя формы множественного числа, если контекст явно не указывает иначе. Далее подразумевается, что термины "содержит" и/или "содержащий", используемые в этом описании, указывают наличие изложенных признаков, целых чисел, этапов, операций, элементов и/или компонентов, но не препятствуют наличию или добавлению одного или более других признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп.
[123] Описание настоящего раскрытия было представлено в целях иллюстрации и описания, но оно не подразумевается как исчерпывающее или ограниченное раскрытием в раскрытой форме. Специалистам в области техники будут очевидны многие модификации и вариации без отступления от объема и сущности раскрытия. Явно представленные в настоящей заявке варианты осуществления были выбраны и описаны, чтобы наилучшим образом разъяснить принципы раскрытия и их практическое применение и дать возможность другим специалистам в области техники понять раскрытие и выявить множество альтернатив, модификаций и вариаций на описанном примере (примерах). В соответствии с этим различные варианты осуществления и реализации, помимо явно описанных, находятся в рамках следующей формулы изобретения.
Формула изобретения
1. Система мониторинга рабочего участка, содержащая:
компонент связи, принимающий данные изображения, представляющие по меньшей мере одно изображение рабочего участка, захваченные устройством формирования изображений беспилотного летательного аппарата; и
контроллер с памятью и архитектурой обработки для исполнения инструкций, сохраненных в памяти, присоединенный к компоненту связи, контроллер содержит модуль сцены, модуль объектов и модуль карты;
причем модуль сцены выполнен с возможностью оценивать данные изображения и формировать изображение сцены рабочего участка на основе по меньшей мере данных изображения;
причем модуль объектов выполнен с возможностью идентифицировать по меньшей мере первый объект в изображении и выполнять абстракцию первого объекта как символику объекта;
причем модуль карты выполнен с возможностью формировать карту рабочего участка с символикой объектов, наложенной на изображение сцены.
2. Система мониторинга рабочего участка по п. 1, в которой компонент связи выполнен с возможностью отправлять карту рабочего участка рабочему транспортному средству для отображения оператору в рабочем транспортном средстве.
3. Система мониторинга рабочего участка по п. 1, в которой модуль сцены выполнен с возможностью формировать изображение сцены посредством сшивания нескольких изображений из данных изображения.
4. Система мониторинга рабочего участка по п. 1, в которой модуль объектов выполнен с возможностью формировать символику объекта как первый графический символ, представляющий первый объект.
5. Система мониторинга рабочего участка по п. 4, в которой модуль объектов выполнен с возможностью идентифицировать первое рабочее транспортное средство как первый объект и формировать первый графический символ таким образом, что первый графический символ указывает тип транспортного средства, соответствующего первому рабочему транспортному средству.
6. Система мониторинга рабочего участка по п. 5, в которой компонент связи дополнительно принимает данные о транспортном средстве, соответствующие первому рабочему транспортному средству, и в которой модуль объектов выполнен с возможностью формировать символику объекта на основе данных о транспортном средстве.
7. Система мониторинга рабочего участка по п. 6, в которой модуль объектов дополнительно выполнен с возможностью формировать символику объекта, представляющую первое рабочее транспортное средство, с символикой, указывающей по меньшей мере одну информацию из характеристик загрузки транспортного средства, работоспособности транспортного средства или статуса транспортного средства.
8. Система мониторинга рабочего участка по п. 6, в которой компонент связи дополнительно принимает данные парка, соответствующие по меньшей мере первому рабочему транспортному средству, и в которой модуль объектов выполнен с возможностью формировать символику объекта на основе данных парка.
9. Система мониторинга рабочего участка по п. 1, в которой модуль сцены дополнительно выполнен с возможностью выполнять абстракцию по меньшей мере первой характеристики изображения сцены и формировать символику сцены, соответствующую изображению сцены, модуль карты выполнен с возможностью формировать карту рабочего участка с символикой сцены, наложенной на изображение сцены.
10. Система мониторинга рабочего участка по п. 9, в которой модуль сцены выполнен с возможностью формировать символику сцены по меньшей мере как одну символику из дорожной символики, границы или текстовой метки.
11. Система мониторинга рабочего участка по п. 1, в которой компонент связи выполнен с возможностью принимать данные о работе, и контроллер дополнительно содержит модуль производительности; и
в которой модуль производительности выполнен с возможностью формировать символику работы на основе данных о работе, и в которой модуль карты выполнен с возможностью формировать карту рабочего участка с помощью символики работы, наложенной на изображение сцены.
12. Система мониторинга рабочего участка по п. 11, в которой модуль производительности выполнен с возможностью формировать символику работы для представления хода выполнения, соответствующего по меньшей мере одной задаче на рабочем участке.
13. Способ формирования карты рабочего участка, содержащий этапы, на которых:
принимают с помощью компонента связи данные изображения, представляющие по меньшей мере одно изображение рабочего участка, захваченное устройством формирования изображений беспилотного летательного аппарата;
оценивают с помощью контроллера данные изображения и формируют изображения сцены рабочего участка на основе по меньшей мере данных изображения;
идентифицируют с помощью контроллера по меньшей мере первый объект на рабочем участке из данных изображения;
выполняют с помощью контроллера абстракцию первого объекта для формирования символики объекта; и
формируют с помощью контроллера карту рабочего участка посредством наложения символики объекта на изображение сцены.
14. Способ по п. 13, дополнительно содержащий этап, на котором:
отправляют с помощью компонента связи карту рабочего участка рабочему транспортному средству для отображения оператору в рабочем транспортном средстве.
15. Способ по п. 13, в котором формирование изображения сцены включает в себя сшивание нескольких изображений из данных изображения.
16. Способ по п. 13, в котором выполнение абстракции первого объекта включает в себя формирование символики объекта в качестве первого графического символа, представляющего первый объект.
17. Способ по п. 16, дополнительно содержащий этап, на котором:
принимают с помощью компонента связи данные о транспортном средстве, соответствующие по меньшей мере первому рабочему транспортному средству на рабочем участке, причем идентификация первого объекта включает в себя идентификацию первого рабочего транспортного средства на рабочем участке, причем выполнение абстракции первого объекта включает в себя формирование символики объекта на основе данных о транспортном средстве, представляющих первое рабочее транспортное средство.
18. Способ по п. 17, в котором выполнение абстракции первого объекта включает в себя формирование символики объекта для представления по меньшей мере одной информации из характеристик загрузки транспортного средства, работоспособности транспортного средства или статуса транспортного средства первого рабочего транспортного средства.
19. Способ по п. 13, дополнительно содержащий этап, на котором:
выполняют с помощью контроллера абстракцию по меньшей мере первой характеристики изображения сцены рабочего участка для формирования символики сцены, соответствующей изображению сцены, символика сцены включает в себя по меньшей мере одну символику из дорожной символики, границы или текстовой метки;
причем формирование карты рабочего участка включает в себя наложение символики сцены на изображение сцены с помощью символики объекта.
20. Способ по п. 13, дополнительно содержащий этапы, на которых:
принимают с помощью компонента связи данные о работе, соответствующие по меньшей мере первой задаче на рабочем участке; и
формируют с помощью контроллера символику работы на основе данных о работе;
причем модуль карты выполнен с возможностью формировать карту рабочего участка с символикой работы, наложенной на изображение сцены с символикой объекта, символика работы представляет ход выполнения, соответствующий первой задаче.
