Sony Intelligent Vision Sensor является первым аппаратом для обработки искусственного интеллекта

Несколько лет назад Sony создала первый датчик изображения с встроенной оперативной памятью, который позволял захватывать видео в замедленном режиме с очень высокой частотой кадров. Теперь компания создала первый датчик с встроенным AI-оборудованием, которое может выполнять высокоскоростное распознавание изображений.

Intelligent Vision Sensor (Интеллектуальный зрительный датчик), IMX500, имеет сложенную конструкцию, состоящую из пиксельного чипа (1/2,3”, разрешение 12,3 МП, 1,55 мкм пикселей) и логического чипа, который имеет разработанный DSP от Sony и память для моделей AI.

Датчик может захватывать 4K-видео со скоростью 60 кадров в секунду, но, что более важно, ему требуется всего 3,1 миллисекунды для анализа изображения (с использованием модели MobileNet V1 от Google). Ему даже не нужно выводить изображения вообще, он может просто отправлять метаданные для обработки.

Как говорит Sony, это хорошо для конфиденциальности, поскольку данные изображения никогда не покидают чип (и, конечно, их не нужно отправлять через Интернет в облако). Кроме того, поскольку модели AI можно настраивать, одно и то же оборудование можно использовать для различных задач.

Простой пример – поставить IMX500 в автомобиль и направить его на водителя. Если датчик обнаруживает, что водитель отвлечен или спит, он может отправить предупреждение автомобилю. Хотя внешний процессор может выполнять ту же задачу, использование только датчика изображения проще (и, следовательно, более надежно) и дешевле.

Магазины могут использовать Intelligent Vision Sensor для многих задач. Например, один может быть у двери, считая, сколько людей вошло. Другой может следить за полками, отправляя уведомление, когда запас заканчивается. Еще один может определить области, куда большинство людей идут, и продукты, которые они собирают.

IMX500 вряд ли найдет свое место в смартфонах. Но он может войти в ваш дом как часть умного дома – например, он может видеть, кто задает вопрос, что поможет системе дать более актуальный ответ. И, опять же, проблемы конфиденциальности снижаются, поскольку датчик изображения может выводить только “Том говорит” вместо того, чтобы снимать фотографию и отправлять на обработку.

Это не просто конфиденциальность, – дизайн, использующий этот датчик, будет иметь намного меньшую задержку, потребует очень небольшой пропускной способности, и это уменьшает энергопотребление для загрузки.

3,1 миллисекунды для анализа изображения – это намного быстрее, чем традиционные подходы, что позволяет развиться приложениям, которые требуют молниеносного времени реакции (например, промышленные роботы). Кроме того, метаданные незначительны по сравнению с кадрами 4K/60fps, на которых они основаны, поэтому сотни камер могут использовать относительно медленное соединение для передачи данных.

IMX500 (только датчик) и IMX501 (датчик в корпусе LGA) скоро будут отобраны для компаний, и Sony думает, что первые продукты, которые их будут использовать, появятся в следующем году. Пока что стоимость этих двух чипов – 10 000 иен и 20 000 иен, соответственно (это 94 и 187 долларов).

По материалам Gsmarena