Pixy CMUcam5 Камера компьютерного зрения

Камера компьютерного зрения Pixy 1.0 CMUcam5

Полностью автоматизированная платформа обнаружения и распознавания статичных/подвижных объектов PixyCam, легко интегрируемая в проекты, построенные на большинстве популярных микроконтроллеров, таких как Arduino, Raspberry Pi, BeagleBone Black и многие другие.

Технические характеристики

• Процессор: двухядерный 32-битный NXP LPC4330 на базе ARM Cortex-M4 и ARM Cortex-M0
• Тактовая частота: 204 МГц
• Питание: 5 вольт от USB, 6-10 вольт от внешнего источника
• Потребляемый ток: 140 мА
• RAM-память: 264 Кбайт
• Flash-память: 1 МБайт
• Датчик изображения: Omnivision OV9715, матрица 1/4", разрешение до 1280х800 точек
• Угол обзора: 75 градусов по горизонтали, 47 градусов по вертикали
• Тип линзы: стандартная М12
• Поддержка языков: C/C++  и Python
• Интерфейсы вывода данных: последовательный UART, SPI, I2C, USB, цифровой, аналоговый
• Встроенный источник освещения, яркость примерно 20 люменов
• Размеры: 53 х 51 х 35 мм
• Вес: 27 гр
• Модель: Pixy R1.3

Руководство по началу работы

Самое подробное руководство по всем продуктам PixyCam вы найдёте в нашем разделе "PIXYCAM документация" (в разработке*). Репозиторий содержит в себе всю необходимую документацию по подключению Pixy к разным микроконтроллерам и взаимодействию. В информационном разделе расположены инструкции по предварительной настройке вашего компьютера для разных ОС, по установке совместимого ПО, требуемого для написания пользовательского кода, большое количество примеров программ, советы по устранению неполадок и многое другое.

Как появилась Pixy

Появление Pixy CMUcam5 обусловлено совместной дружбой между Институтом робототехники им. Карнеги-Меллона (Carnegie Mellon Robotics Institute) и научно-технической лабораторией Charmed Labs. Pixy принадлежит к длинной линейке разнообразных моделей камер семейства CMUcam, её реальная разработка началась с компании на Кикстартер. Успех во всём мире пришёл к Pixy в марте 2013 года. И по сей день, эта платформа находится на волне самых популярных систем машинного зрения в истории! Финансирование Pixy осуществляется исключительно через продажи, поэтому разработчики благодарят своих покупателей за помощь в поддержке Pixy.

Что на обратной стороне Pixy?

Зрение как сенсор

Если вы хотите, чтобы ваш робот выполнял такие задачи, как взятие предмета, преследование за мячом, поиск зарядной станции и т.д., и вы ищете полноценное устройство, способное помочь в осуществлении всех поставленных целей, тогда зрение — это ваш сенсор. Датчики зрения (изображения) крайне полезны, потому что они очень гибкие. При правильном алгоритме, датчик изображения может воспринимать или обнаруживать практические всё, что угодно. Стоит понимать, что сами датчики изображений имеют пару недостатков. Во первых, они выдают сразу много данных, измеряемых мегабайтами в секунду. Во вторых, обработка огромного количества данных может перегружать большинство процессоров. Если же процессор успевает обрабатывать данные, то большая часть его вычислительной мощности будет не доступна для других задач.

Pixy помогает решить подобные проблемы, так как объединяет в своей конструкции датчик изображения и выделенный процессор, передавая на ваш контроллер только полезную информацию (например, фиолетовый динозавр, обнаруженный по координатам x=54 и y=103). И делает это с частотой до 50 кадров в секунду. Передаваемая информация доступна из нескольких интерфейсов: последовательный UART, SPI, I2C, USB или цифровой/аналоговый выход. Таким образом, ваш Ардуино или другой микроконтроллер способен легко общаться с Pixy, и иметь при этом достаточно свободных процессорных ресурсов для других задач.

К вашему микроконтроллеру можно одновременно подцепить до нескольких камер Pixy — например, робот с четырьмя камерами, обозревающий пространство вокруг себя на 360 градусов. Или использовать Pixy без микроконтроллера, самостоятельно управляя переключателями или сервомоторами при определённом событии.

Основные преимущества

• Небольшая, быстрая, простая в использовании, недорогая, легкодоступная система технического зрения
• Способна определять предметы, которым вы её учите
• Выводит информацию о том, что обнаруживает 50 раз в секунду
• Подключается к Arduino с помощью прилагаемого кабеля, также работает с Raspberry Pi, BeagleBone и аналогичными контроллерами
• В репозитории Pixy располагаются все библиотеки для Arduino, Raspberry Pi и др.
• Инструмент конфигурирования Pixy работает на Windows, MacOS и Linux
• Всё пользовательское/фирменное программное обеспечение имеет открытый исходный код по лицензии GNU
• Вся документация по аппаратной части, включая схемы, спецификации, разводка печатных плат и т.д, доступны в репозитории Pixy

Поддержка контроллеров

Pixy легко подключаться ко множеству популярных микроконтроллеров, для этих целей она оснащена различными вариантами интерфейсов: последовательный UART, SPI, I2C, USB или аналоговый/цифровой выход. Первый опыт в коммуникации Pixy получила от общения с модулями Ардуино. Разработчиками Pixy добавлена поддержка Arduino Due, Raspberry Pi и BeagleBone Black. Для всех вышеперечисленных платформ предоставляются готовые библиотеки программного обеспечения, поэтому вы можете быстро приступить к работе с ней. Кроме того, в модель Pixy был включён программный интерфейс языка Python, если предполагается использование контроллеров на основе Linux.

Фиолетовые динозавры (и другие вещи)

Определение объектов в Pixy реализовано на основе алгоритма цветовой фильтрации. Подобные методы популярны, эффективны и достаточно надёжны. Большинство из нас знакомы с аббревиатурой "RBG" (красный, зелёный и синий), применяемой в представлении цветов. Pixy рассчитывает цвет (оттенок) и насыщенность каждого пикселя RGB, передаваемые датчиком изображения, после чего использует полученные параметры в качестве основы при выполнении алгоритма фильтрации. Цветовой оттенок объекта в значительной степени остаётся неизменным при изменяемых освещении и экспозиции. Алгоритм фильтрации Pixy надёжен в тех случая, когда речь идёт об возможных изменениях освещения и экспозиции, способных негативно повлиять на метод определения в аналогичных устройствах.

Цветовые метки

Pixy запоминает до семи различных цветовых меток. У алгоритма цветной фильтрации Pixy не возникнет проблем с идентификацией объектов, имеющие уникальные цветовые метки. В тех случаях, когда требуется распознавать более семи предметов, применяются цветовые коды (см. ниже).

Сотни объектов

Ваша камера компьютерного зрения, в буквальном смысле, может обнаружить одновременно сотни объектов. Определение положения каждого предмета в пространстве основано на алгоритме связанных компонентов, помогающий Pixy понимать, где один объект начинается, а другой заканчивается. Затем, Pixy компилирует размеры и местоположения каждого объекта, и передаёт данные о них через один из интерфейсов (например, SPI).

50 кадров в секунду

Что подразумевается под понятием "50 кадров секунду"? Говоря коротко, Pixy достаточно быстро успевает обрабатывать каждый кадр изображения в разрешении 640х400, на один такой кадр тратится всего 1/50 секунды (20 миллисекунд). Вы получаете обновлённую информацию о новом положении обнаруженных объектов каждые 20 миллисекунд. При такой скорости, становиться возможным отслеживание траектории прыгающего мяча. Например мяч, двигающийся со скорость около 30 миль (приблизительно 48 км) в час, перемещается на расстояние менее 1 фута (30,5 см) за 20 миллисекунд.

Как научить Pixy распознавать определённые предметы

Уникальность Pixy заключается в абсолютно простом методе запоминания интересующих вас объектов. Фиолетовый динозавр? Поместите динозавра перед камерой Pixy и нажмите кнопку. Оранжевый мяч? Поместите мяч перед камерой Pixy и нажмите кнопку. Как видите, ничего сложного.

Говоря более конкретно, вы обучаете Pixy простым удерживанием объекта перед объективом камеры, одновременно нажимая расположенную сверху кнопку. Находящийся под объективом RGB светодиод отображает цвет объекта, на который смотрит камера. Например, светодиод становится оранжевым, когда перед Pixy размещается оранжевый шарик. Отпустите кнопку, и Pixy создаст статическую модель цветов, содержащихся в объекте, после чего сохранит модель в своей флеш-памяти. С этого момента, модель будет задействована в поиске объектов с аналогичным цветовыми идентификаторами.

Pixy способна запоминать до семи цветовых идентификаторов, пронумерованных 1-7. По умолчанию, цветовому идентификатору присваивается номер 1. Запоминание других цветовых идентификаторов (2-7) выполняется простой последовательностью нажатий кнопок.

PixyMon покажет вам, что видит Pixy

PixyMon — удобное пользовательское приложение, совместимое с ОС Windows, MacOs и Linux. Оно позволяет вам видеть всё, что видит объектив камеры Pixy. Отображаемое в реальном времени, изображение выводится на экран в виде необработанного или обработанного видео. Оно помогает правильно настраивать Pixy, устанавливать порт вывода данных и управлять цветовыми идентификаторами. PixyMon связывается с Pixy через стандартный кабель mini-USB.

PixyMon отлично подходит для отладки вашего проекта. Когда Pixy соединена с Arduino или другим микроконтроллером, вы можете подключить USB-кабель к обратной стороне Pixy и запустить PixyMon для вывода изображения на экран, чтобы понимать происходящее. При этом не нужно ничего отключать от микроконтроллера.

Приложение PixyMon распространяется с открытым исходным кодом, как и все остальное ПО.

Что такое "цветовой код"?

Цветовые комбинации, составленные из двух и более расположенных рядом цветовых меток, именуются цветовыми кодами. Pixy может обнаруживать и расшифровывать цветовые коды, и представлять их как специальные объекты. Применение подобного способа обозначения объектов полезно в тех случаях, когда требуется обнаружить и идентифицировать больше предметов, чем при отдельной семицветной маркировке.

Схема цветового кода из двух меток, составленных сочетанием четырёх основных цветов, позволяет различать до 12 уникальных объектов. Вот простой пример:

Возможны комбинации из трёх, четырёх или пяти меток в сочетании с различными цветами, которыми можно обозначить огромное количество предметов или объектов. С помощью схемы из пяти меток и шести цветов, их количество достигает уже нескольких тысяч.

Почему цветовые коды?

С помощью цветовых кодов можно значительно повысить точность обнаружения требуемых объектов. Не исключены случаи, когда заданные цвета могут появиться в определённом порядке или близко друг к другу. К одному из недостатков цветовых кодов можно причислить необходимость их размещения на каждом предмете, который вы хотите обнаружить. Зачастую, интересующий вас объект (жёлтый шарик, фиолетовая игрушка) имеет свой уникальный цветовой идентификатор, и ему не нужен отдельный цветовой код. Pixy без проблем будет одновременно распознавать предметы, как содержащие на себе цветовые коды, так и без них.

В дополнение к положению и размеру, цветовые коды дают вам точную оценку угла объекта относительно чего-либо. Оценка угла, декодирование цветовых кодов или определение объектов без меток, а также их расположение и размеры обрабатываются Pixy и предоставляются пользователю со скоростью 50 кадров в секунду.

Цветовые коды полезны в проектах, использующих навигацию. Например, перемещение робота в каком-нибудь помещении, где каждый дверной проём или корридор имеют свои уникальные цветовые коды.

В заключении стоит сказать, что реализованная в Pixy технология машинного зрения, станет недорогим и надёжным решением для всех энтузиастов, увлекающихся конструированием полезных электронных устройств.

Сопутствующие товары

• Механизм наклона/панорамирования на сервомоторах для Pixy