Фактический опыт и особенности применения БПЛА на ПСР.

[semerka]

На отрядном DJI S1000+ используем Flir Vue Pro 640 на гиростабилизированном подвесе, специально сконструированном для возможности быстрой замены GoPro на Flir в зависимости от задач на ПСР.

Vue Pro - серьёзная модель, ценник тоже серьёзный, поэтому про неё не спрашивала. Boson и Lepton тоже делает Flir, они дешевле (но и разрешение хуже).

Меня интересуют пролёты над лесом и полёты при высоких температурах (выше 15 гр. по Цельсию, скажем).
Насколько удаётся обнаруживать человека при полётах над лесом? (Работает ли оно лучше обычной камеры?)
При каких температурах целесообразнее использовать ИК, а не обычную камеру?

Распознавание объектов программным продуктом очень интересно. Путь этот понятен и необходимость очевидна, так как за один день работы БПЛА на ПСР требуется отсмотреть кучу материала. Но все попытки создать такой продукт пока разбиваются в самом начале разговора на вопросе программистов: А сколько заплатите за такую программу? Мы даже облегчили ТЗ на просмотр не видеоматериала, а фотографий. Но и здесь пока не нашли желающих сделать программу. Здесь, вероятно, надо искать продукт уже созданный и после адаптировать под ПСР. Например, есть программы, которые ищут видоизменения в человеческой клетке, отличные от шаблона-образца. В нашем случае на однородной в основном местности (например, поле) распознать лежащий любой другой объект по введённым параметрам (длина, ширина, цвет).

Я собираюсь в течение этой зимы поработать над такой программой. Гарантировать успех не могу, потому что конкретно в области машинного зрения опыта у меня пока не много. Также готова принять участие и помочь по возможности, если кто-нибудь ещё решит возглавить процесс (программисты за спасибо?).

Прямо сейчас план у меня следующий:
1. Набрать базу съёмок с воздуха (это то, о чём писал tarekon). Пока на обычную камеру. (В принципе, видео с youtube тоже подойдёт, но надо найти видео с подходящими параметрами (возможно, кто-то выкладывал видео с ПСР); либо здесь у кого-нибудь есть видео, которые не жалко задонейтить на развитие науки );
2. Разметить эти данные (возможно, использовать специальные сервисы (типа Толоки Яндекса));
3. Обучить на этих данных нейросеть и проверить, как она работает;
4. Попробовать кормить в неё данные непосредственно данные с камеры в реалтайме.

А дальше потенциальные применения могут быть разные, от выбора "значимых" кадров для просмотра человеком на видео с ПСР до самостоятельного realtime-детектора (опционально кросс-валидация человеком).

Я общалась с автором вот этого проекта - Realtime object detector. Весь исходный код доступен (GitHub).
Также при необходимости, если будут вопросы, он обещал помочь / подсказать.
(Сам проект -- не совсем то, что нужно в условиях ПСР, скорее некий proof of concept.)

Если кому-нибудь интересно поучаствовать/помочь/чтобы я помогла/whatever - пожалуйста, напишите.

Программистов "за спасибо" я найти смогу. В крайнем случае могу и сам попробовать наваять что-то, хотя моя специальность чуть в стороне. Основная проблема - обучающий фотоматериал. Можно попробовать нагнать кучу добровольцев поваляться на земле и пролететь над ними коптером с фотоаппаратом раз дцать. Но это нужно организовать - набрать разных "по форме и цвету", попросить лежать в разных позах и на разных поверхностях. А потом вручную их всех разметить. Под "разметкой" имеется в виду запись где-нибудь в текстовом файле, что на фотографии N в координатах (x1,y1)-(x2,y2) расположена цель.

Здесь на форуме уже отметилось несколько коптеровладельцев. Я думаю, что у нас (коптеровладельцев) либо уже есть, либо легко может собран комплект видео с добровольцами.
Думаю, что написать софтину, где можно будет тыцнуть мышкой в точку с человеком и оно само запишет координаты, не очень сложно. (Форкнуть какой-нибудь фоторедактор. ) (Более того, скорее всего, существуют готовые варианты.)

Предлагаю скоординироваться, если есть желание. Например, завести отдельную тему на форуме и писать туда апдейты, как идут дела. (Заведите, пожалуйста, если это хорошая идея; я плохо знаю местные правила, куда можно постить, а куда нет.)
Обсудить устно тоже можно.
Мои контакты все тут, используйте по желанию / необходимости.

[Севыч]

Меня интересуют пролёты над лесом и полёты при высоких температурах (выше 15 гр. по Цельсию, скажем).
Насколько удаётся обнаруживать человека при полётах над лесом? (Работает ли оно лучше обычной камеры?)
При каких температурах целесообразнее использовать ИК, а не обычную камеру?



Я собираюсь в течение этой зимы поработать над такой программой. Гарантировать успех не могу, потому что конкретно в области машинного зрения опыта у меня пока не много. Также готова принять участие и помочь по возможности, если кто-нибудь ещё решит возглавить процесс (программисты за спасибо?).

Прямо сейчас план у меня следующий:
1. Набрать базу съёмок с воздуха (это то, о чём писал tarekon). Пока на обычную камеру. (В принципе, видео с youtube тоже подойдёт, но надо найти видео с подходящими параметрами (возможно, кто-то выкладывал видео с ПСР); либо здесь у кого-нибудь есть видео, которые не жалко задонейтить на развитие науки );
2. Разметить эти данные (возможно, использовать специальные сервисы (типа Толоки Яндекса));
3. Обучить на этих данных нейросеть и проверить, как она работает;
4. Попробовать кормить в неё данные непосредственно данные с камеры в реалтайме.

А дальше потенциальные применения могут быть разные, от выбора "значимых" кадров для просмотра человеком на видео с ПСР до самостоятельного realtime-детектора (опционально кросс-валидация человеком).

Я общалась с автором вот этого проекта - Realtime object detector. Весь исходный код доступен (GitHub).
Также при необходимости, если будут вопросы, он обещал помочь / подсказать.
(Сам проект -- не совсем то, что нужно в условиях ПСР, скорее некий proof of concept.)

Если кому-нибудь интересно поучаствовать/помочь/чтобы я помогла/whatever - пожалуйста, напишите.

Здесь на форуме уже отметилось несколько коптеровладельцев. Я думаю, что у нас (коптеровладельцев) либо уже есть, либо легко может собран комплект видео с добровольцами.
Думаю, что написать софтину, где можно будет тыцнуть мышкой в точку с человеком и оно само запишет координаты, не очень сложно. (Форкнуть какой-нибудь фоторедактор. ) (Более того, скорее всего, существуют готовые варианты.)

Предлагаю скоординироваться, если есть желание. Например, завести отдельную тему на форуме и писать туда апдейты, как идут дела. (Заведите, пожалуйста, если это хорошая идея; я плохо знаю местные правила, куда можно постить, а куда нет.)
Обсудить устно тоже можно.
Мои контакты все тут, используйте по желанию / необходимости.

Нет чёткой грани использования инфракамеры летом: разная температура воздуха, облачность вечером и даже скорость ветра вечером дают искажение теплового фона и нагревание/остывание ложных объектов. А температура более 20 градусов Цельсия ночью вообще растягивает остывание ложных объектов в часы. По опыту, только конкретный вылет даёт возможность принять решение о применении инфракамеры и точности определения объектов. При этом надо ещё принимать во внимание, что любая одежда ОП экранирует и затрудняет применение инфракамеры.
Лес вообще недоступен. Чтобы было понятно: инфракамера (как минимум гражданская версия) видит всё также ночью, как видит человеческий глаз днём. То есть ОП лежащий под деревом с листвой или под высоким кустарником (более 2 метров) полностью укрыт от обнаружения.

Связался с Виктором(tarekon) и решили начать с программы, работающей с фотографиями, так как фото в 10-12МPx представляет наилучший вариант для обработки.
Задачи к фотоматериалам:
1. Объекты съёмок: дети 3,5,7,10,12,15 лет и взрослые 20,30,50,70 лет отдельно мужчины и женщины.
2. Позы объектов во время съёмки: на спине, на правом боку, на левом боку, на животе, на правом боку с подогнутыми к подбородку ногами, на левом боку с подогнутыми к подбородку ногами, стоя на месте, идя шагом.
3. Фон съёмки: поле с луговой травой зелёной, поле с луговой травой осенней (пожухлой), поле с подсолнечником, поле с кукурузой, поле с пшеницей, поле вспаханное, поле вспаханное заснеженное, поле с луговой травой заснеженное.
4. Погода: солнечная, на закате/рассвете, пасмурная.
5. Высоты съёмки: 40, 50 метров.
6. Скорость БПЛА: 10 м/с.
Процесс съёмки:
1. Сначала 2-3 фотографии каждого фона (п.3) без объектов при разной погоде (п.4) и на разных высотах (п.5).
2. Потом 2-3 фотографии на этом же фоне(п.3) с этой же погодой (п.4) и разных высотах(п.5) с каждым объектом(п.1) и в каждой позе(п.2) отдельно.

Прошу учесть, что чем качественнее будет произведена съёмка исходников, тем лучше будет работать программа.
Понимаю, что работа большая и надо разбивать на блоки: если будете готовы произвести фотосъёмку по вышенаписанным параметрам, то напишите в этой теме, что готовы взять.
Предварительно разговаривал с Максом из ЛА-Ростов и он тоже проявил интерес к программе: у них снежного покрова пока нет и есть возможность отснять фотоматериал без снега.

Отдельную тему по программе создадим, когда будут хоть какие-то результаты, а пока предлагаю обсуждать здесь.

[Inviz]

Имхо фото с тепловизора в цвете должны получаться наиболее пригодными для машинного распознания (не требуется ориентироваться на цвет травы/обьекта, только на температуру) и машинное обучение сведется к выделению обьектов с температурой отличной от окружающего.
Если делать одновременно сьемку на тепловизор и обычную камеру - можно будет легко совместить интересные участки изображений для визирования оператором.
P.S. С удовольствием приму участие в проработке/разработке

[Севыч]

Имхо фото с тепловизора в цвете должны получаться наиболее пригодными для машинного распознания (не требуется ориентироваться на цвет травы/обьекта, только на температуру) и машинное обучение сведется к выделению обьектов с температурой отличной от окружающего.
Если делать одновременно сьемку на тепловизор и обычную камеру - можно будет легко совместить интересные участки изображений для визирования оператором.
P.S. С удовольствием приму участие в проработке/разработке

Сергей, спасибо за предложение помощи. Наверное, понадобится помощь в программировании Виктору(tarekon).

Почему именно обычные фото выбраны для исходников? Программу планируем использовать не только в Москве, но и в регионах (оптимистично настроены на появление БПЛА в бОльших количествах там). А инфракамера на БПЛА есть только в Москве (причём я не разу не видел, чтобы владельцы БПЛА имели инфракамеру в личных комплектах) и стоит как три DJI Mavik.
И опять же, если я понял идею Виктора(tarekon) правильно, то программа распознавания будет построена на нейропринципах, то есть будет иметь возможность обучаться. И это значит, что потом мы её расширим до фото с инфракамеры позже.

P.S. Тепловизор = инфракамера + монитор в одном корпусе.
Инфракамера = линза + блок с процессором.

[tarekon]

Задачи к фотоматериалам:
1. Объекты съёмок: дети 3,5,7,10,12,15 лет и взрослые 20,30,50,70 лет отдельно мужчины и женщины.
2. Позы объектов во время съёмки: на спине, на правом боку, на левом боку, на животе, на правом боку с подогнутыми к подбородку ногами, на левом боку с подогнутыми к подбородку ногами, стоя на месте, идя шагом.
3. Фон съёмки: поле с луговой травой зелёной, поле с луговой травой осенней (пожухлой), поле с подсолнечником, поле с кукурузой, поле с пшеницей, поле вспаханное, поле вспаханное заснеженное, поле с луговой травой заснеженное.
4. Погода: солнечная, на закате/рассвете, пасмурная.
5. Высоты съёмки: 40, 50 метров.
6. Скорость БПЛА: 10 м/с.
Процесс съёмки:
1. Сначала 2-3 фотографии каждого фона (п.3) без объектов при разной погоде (п.4) и на разных высотах (п.5).
2. Потом 2-3 фотографии на этом же фоне(п.3) с этой же погодой (п.4) и разных высотах(п.5) с каждым объектом(п.1) и в каждой позе(п.2) отдельно.

Добавлю немного, чтобы не было разночтений.
Первое, по поводу возраста. Наша задача не определять возраст лежащего человека, а определять его наличие. Указанные в п.1 возраста - лишь ориентировочные, чтобы покрыть все возможные пропорции между объектом поиска и окружающим ландшафтом. Ребенок 6 лет отлично подойдет для съемки и покроет собой группу "5 лет" и "7 лет". Аналогично взрослый 26 лет вполне сгодится для группы "30 лет". Есть ощущение, что может хватить даже меньшего числа групп, но окончательно это будет ясно после первых попыток обучить нейросеть.

Наверное, еще будет полезно сделать фотографии не просто на фоне, а в потенциальных природных ловушках. Опять-таки, окончательно потребность в этом будет известна позднее. Тем, кто будет делать фотографии и иметь возможность дополнить их ловушками - будет здорово.

Я нашел статью 2016 года, в которой решалась задача автоматического поиска людей дронами: "Human Detection and Classification of Landing Sites for Search and Rescue Drones". В ней авторам хватило 1,5 тыс фотографий (из них примерно 150 с людьми), QVGA камеры разрешением 320*200 (!) для опознавания людей в 80% случаев. Они, правда, не привели информацию о высоте полета и вариативности ландшафта, но всё равно их работа воодушевляет.



Ну и в соответствии с принципом "сказал А, говори и Б", ищу оператора с коптером с любой вертикально установленной камерой для съемки себя (30 лет) и своих детей (3 и 7 лет). В окне вижу поле с пожухлой травой, без снега. Вроде недалеко была и темная пашня. Сам я в Раменском районе, но сможем подъехать и забрать оператора откуда-нибудь. Завтра в первой половине дня либо через неделю, но там может выпасть снег и будет не так интересно. Звоните или пишите в whatsup.

[nahrihra]

Есть контакты в двух-трех конторах, занимающихся в том числе распознаванием объектов на видео. Могу поспрашивать насчет готовности бесплатно посотрудничать в формате промо-проекта. Но я не очень понимаю, насколько активно отряд готов использовать эти наработки. Есть статистика, сколько было поисков с участием БПЛА, сколько отснято материала?

[svyat]

Свят
Москва. МО. юг, юго запад
Мавик Про
две батарейки
планшет "кто они?" с DJI GO4
Суммарный налет пока 5 часов
Буду снимать фото, но пока умею только в ручном режиме. Комплект детей и родственников довольно широкий. Рельефы и ландшафты в окрестностях дачи тоже в ассортименте.

[svyat]

После консультации с Мурзиком ставлю Личи, завтра будем отрабатывать поисковую задачу в Троицком

[svyat]

Попробовал прокладывать треки и смотреть в онлайне, управляя через DJi GO4, хватило на 6 км треков, но эффективность закрытия поля крайне мала, кроме того, на ноуте видео 4К не тянет, дерганная картинка. Запустил на Личи, при облете по маршруту, картинка расфокусированная, при нажатии на экран фокус появляется, потом снова расползается. Что может быть?

[Константин П]

Попробовал прокладывать треки и смотреть в онлайне, управляя через DJi GO4, хватило на 6 км треков, но эффективность закрытия поля крайне мала, кроме того, на ноуте видео 4К не тянет, дерганная картинка. Запустил на Личи, при облете по маршруту, картинка расфокусированная, при нажатии на экран фокус появляется, потом снова расползается. Что может быть?

4К формат требует определенного железа.
Оптимальней тогда снимать в этом качестве а потом в офлайн режиме просматривать видео. Трек должен быть синхронизирован с видео чтобы в нужном месте иметь координаты точки.
Или понижать качество картинки до 2,7 К или 2К(Full HD) или даже ниже. Но тогда падает разрешение.