Контакты
Подписка
МЕНЮ
Контакты
Подписка

Выбор платформы для встраиваемых систем захвата и обработки изображений. Часть I

В рубрику "Видеонаблюдение (CCTV)" | К списку рубрик  |  К списку авторов  |  К списку публикаций

Выбор платформы для встраиваемых систем захвата и обработки изображенийЧасть I

Широкие возможности современных камер машинного зрения, процессоров и коммуникационных технологий позволяют создавать системы все более высокого потребительского уровня. Наряду с увеличением разрешения, повышением чувствительности и скорости цифровых камер мы наблюдаем быстрое снижение стоимости, габаритов и потребления всего оборудования для захвата и обработки изображений, что расширяет традиционные и открывает новые области применения технологий машинного зрения, в первую очередь в виде встраиваемых систем
Максим Сорока
Директор ООО "Витэк-Автоматика"

В данной статье будет предложен обзор решений для конечных устройств, отвечающих за захват изображений, подготовку и доставку нужной информации для последующего анализа и хранения на удаленных серверах.

Небольшой экскурс в историю вопроса

Первое поколение систем видеонаблюдения строилось на базе аналоговых камер, аналоговых видеомагнитофонов и мониторов и ограничивалось мониторингом и записью изображений. Появление компьютерной техники открыло возможности для обработки получаемых изображений. Для ввода изображений с аналоговых камер в компьютер использовались специальные платы – фреймграбберы (Framegrabber). Появление цифровых линий связи открыло эру цифровых, позже IP-камер.

Вначале требования к качеству изображения по-прежнему ограничивались качеством отображения "картинки" на экране монитора. Это позволило для сокращения издержек передачи и хранения больших объемов данных применять алгоритмы сжатия с потерей информации – человек попросту этого не замечал. По мере роста вычислительных возможностей микропроцессоров, в первую очередь DSP и FPGA, и совершенствования алгоритмов обработки информации IP-камеры наращивали свою функциональность: появились детекторы движения, интеллектуальные настройки управления камерой, многопоточная трансляция. Производители камер быстро раскусили преимущества "интеллектуальной" начинки, и программная функциональность IP-камеры стала во многом определять ее стоимость. Анализ "на месте" несжатой исходной картинки позволил качественно повысить достоверность и информативность получаемой информации и, что немаловажно, сократить время реакции системы (Latency). Но стоимость разработки интеллектуальной камеры и специализированного программного обеспечения оставалась очень высокой и была доступна только крупным производителям.

Трансформация технологий разработки устройств и систем

Ситуация качественно изменилась в течение последних пяти лет с появлением мощных мобильных платформ и графических ускорителей, во многом благодаря индустрии смартфонов, компьютерных игр, технологий облачных вычислений (Cloud Computing) и больших данных (Big Data). Впечатляющими темпами идет параллельное развитие вычислительных платформ для встраиваемых и мобильных приложений и мощных суперкомпьютеров для обработки огромных объемов данных, получаемых с интеллектуальных устройств.


Прорывом последних 2–3 лет в прикладных задачах стало широкое распространение нейронных сетей, в том числе в областях видеонаблюдения и обработки изображений. Функциональные возможности современных математических алгоритмов (и как результат – устройств и системы в целом) во многом определяются качеством и количеством предоставленной для анализа информации. Разрабатываемая традиционным способом с нуля видеокамера со встраиваемым процессором устаревает еще до начала производства: на рынке со все увеличивающейся скоростью появляются более мощные процессоры, более совершенные сенсоры для камер, более высокопроизводительные математические алгоритмы. Цикл разработки новых, все более сложных и многофункциональных устройств сократился в разы и трансформировался из производства электронных плат и собственных базовых алгоритмов в адаптацию вычислительных платформ (System on Module (SoM) – система на модуле) и оптимизированных для них производителем этих платформ библиотек обработки изображений.

Трансформация технологии создания устройств захвата и обработки изображений на базе вычислительных платформ поставила в равные условия и крупные компании, и новых разработчиков, для которых в одинаковой мере доступными оказались самые современные технологии захвата изображений и вычислительные платформы

Мы предлагаем обзор основных экосистем от известных нам производителей, который ни в коей мере не претендует на охват всех имеющихся предложений, но имеет своей целью описать главные, на наш взгляд, направления развития технологий, их особенности, преимущества и недостатки:

  • ARM;
  • X86;
  • FPGA
  • GPU.

Все упомянутые платформы объединяет гибридная, иногда называемая гетерогенной архитектура – когда в одном устройстве совмещаются универсальные (CPU) и специализированные решения (GPU, ISP, VSP, DSP, FPGA).

Процессоры ARM

Пожалуй, самым ярким представителем гибридного (гетерогенного) подхода является семейство процессоров Qualcomm® Snapdragon™ – основа большинства современных смартфонов.

Решаемые задачи

В одном кристалле совмещены несколько функциональных блоков, по сути, отдельных процессоров для решения специализированных задач:

  • 8-ядерный ARM процессор Kryo™ 385 (4 высокопроизводительных ядра и 4 малопотребляющих);
  • интерфейс ОЗУ LPDDR4x 1886 МГц;
  • графический ускоритель GPU Adreno™ 630;
  • обработка изображений(ISP)/интерфейс камеры Spectra™ 280;
  • векторный процессор Hexagon™ 685 DSP;
  • аппаратный энкодер/декодер H.265 2160p60 10 разрядов, 720p 480;
  • интегрированный LTE-модем и Wi-Fi;
  • модуль обеспечения безопасности.

На рис. 3 приведены основные параметры последнего поколения Snapdragon 845, представленного публике в декабре 2017 г. и пока доступного только для производителей премьерной лиги смартфонов.

Смена поколений

Для "рядовых" разработчиков партнерами Qualcomm в виде SoM (система на модуле) предлагается очень достойный предшественник – Snapdragon 620 c теми же основными функциональными блоками чуть меньшей производительности по цене 200–250 долларов за модуль. Не нужно быть предсказателем, чтобы утверждать, что текущее "новое" поколение через пару лет также появится в виде SoM на открытом рынке. Необходимо отметить, и это справедливо для всех модулей SoM, что для того чтобы подключить к модулю физические устройства, требуется несущая плата (Carrier Board), которая подбирается (или разрабатывается) под требования конкретной задачи или системы в зависимости от необходимости наличия тех или иных физических интерфейсов. Стоимость такой платы для этого и других SoM обычно составляет порядка 100–200 долларов за штуку. Начать разработку на основе Qualcomm® Snapdragon™ удобно на базе набора для прототипирования (Developers Kit), включающего в себя собственно SoM и универсальную плату-носитель по цене 500–600 долларов за комплект.

Программные инструменты

Как бы хороша ни была аппаратная платформа, воспользоваться ей в полной мере можно только при наличии достойной программной поддержки. Производители оборудования это прекрасно понимают и создают целую экосистему, включающую в себя набор программных библиотек и инструментов для решения широкого круга задач. Помимо стандартных средств разработки прикладного программного обеспечения (компилятора и профайлера) для обработки изображений и видео, включая элементы искусственного интеллекта, Qual-comm предлагает:

  • Adreno GPU SDK;
  • FastCV Computer Vison SDK;
  • Hexagon DSP SDK;
  • MachineVision SDK;
  • Snapdragon Math Libraries;
  • Snapdragon Neural Processing Engine for AI.

Библиотеки оптимизированы для использования преимущества гетерогенной архитектуры Qualcomm® Snapdragon™ и позволяют значительно повысить эффективность выполнения задач обработки изображений при снижении потребляемой мощности, что является весьма значимым фактором для мобильных приложений.

Процессоры X86

Ввиду фактического доминирования в индустрии смартфонов ARM-архитектура значительно потеснила традиционные процессоры x86. Но Intel и другие производители x86 тоже не сидят без дела.

Повышение производительности

На рынке появляются устройства на процессорах нового поколения. Если говорить о мобильных и компактных решениях, то это прежде всего поколение X-процессоров Atom. Помимо увеличения обычной мощности при снижении потребления, они оснащаются гораздо более производительными графическими акселераторами. Куда сегодня без них? Стандартным дополнением для восьмого поколения главной линейки Core i5/i7 стало аппаратное кодирование H.265. Генеральный директор Intel Брайн Кржанич (Brian Krzanich, CEO) в 2017 г. заявил, что компания намерена в 100 раз увеличить производительность в области искусственного интеллекта к 2020 г. И это касается не только серверных платформ. С 2015 г. Intel потратила не менее 20 млрд долларов на поглощение компаний, разрабатывающих технологии в области встраиваемых систем, обработки изображений и искусственного интеллекта.

Вот лишь неполный список приобретений:

  • Altera (2015 г.) – один из ведущих мировых производителей FPGA;
  • Itseez (2016 г.) – российская компания, один из главных игроков в мире OpenCV, инициатор создания OpenVX – нового стандарта для оптимизации выполнения алгоритмов машинного зрения на мобильных и встраиваемых платформах;
  • Movidius (2016 г.) – разработчик линейки VPU (Video Processing Unit) Myriad – аппаратного акселератора популярных моделей нейронных сетей Caffe и Tensorflow;
  • Mobileye (2017 г.) – ведущий разработчик технологий автовождения (ADAC) и машинного зрения из Израиля.

Аппаратное ускорение нейронных сетей

Отдельного упоминания заслуживает уникальное на сегодняшний день решение от компании Movidius – уникальный аппаратный ускоритель нейронных сетей Myriad X.

Предыдущее поколение Myriad 2 нашло применение в камере-"игрушке" Google Clips, оснащенной нейронной сетью для распознавания лиц и лучших моментов для съемки, а также интересным решением для прототипирования и практического внедрения нейронных сетей Movidius Neural Compute Stick. Последнее поколение изготавливается по технологии 16 нм и предлагает производительность до 4 Тфлопс при потреблении менее 1 Вт. Микросхема Myriad X оснащена аппаратным кодеком 4k-видео до 60 кадр/с и в полной мере поддерживается средой разработки Myraid Development Kit.

Продолжение следует

Во второй части публикации в следующем выпуске журнала мы перейдем к компаниям, которые занимаются исключительно специализированными аппаратными решениями. Начнем с ПЛИС (перепрограммируемые логические интегральные схемы) – серии продуктов Xilinx® ZynQ®, продолжим рассказом о графических акселераторах компании NVIDIA Jetson и закончим сравнением всех рассматриваемых нами платформ для встраиваемых систем.

Опубликовано: Журнал "Системы безопасности" #2, 2018
Посещений: 3816

  Автор

Максим Сорока

Максим Сорока

Генеральный директор OOO "ВиТэк"

Всего статей:  3

В рубрику "Видеонаблюдение (CCTV)" | К списку рубрик  |  К списку авторов  |  К списку публикаций