что такое умная камера в приложении яндекс
В приложении «Яндекс» появилась «умная» камера — она расскажет, что за объект в объективе, и где его можно купить
В мобильном приложении «Яндекс» появилась «умная» камера. Об этом сообщает информационное агентство ТАСС со ссылкой на пресс-службу российской компании.
Новая камера способна переводить тексты и распознавать объекты в режиме реального времени. Ее работа основана на нескольких технологиях: компьютерное зрение, машинный перевод и поиск.
В компании «Яндекс» заверяют, если навести камеру на какие-нибудь объекты, она подпишет те, что смогла распознать. Пользователь может получить информацию о том, что за объект попал в объектив, и где он продается. Можно узнать, что за растение или памятник архитектуры в кадре.
Если навести камеру на иностранное слово, оно будет переведено силами Яндекс.Переводчика. Перевод появится поверх оригинала. Разработчики уверены — такой инструмент будет очень полезен и удобен, когда надо перевести текст на этикетке или указателе. Сейчас «умная» камера доступна в приложении «Яндекс» для операционных систем iOS и Android.
В приложении Яндекса на Android и iOS появилась умная камера — да-да, новая
Наверное, многие из нас переводили тексты с помощью камеры в переводчике Яндекса и искали что-то по картинкам (например, именно с помощью такого поиска в Яндексе мне удалось найти части коллекционного сервиза — ни Avito, ни ручной поиск не справились). Но Яндекс пошёл дальше, развил функциональность и выкатил новый релиз — с непередаваемыми нотками коммерции.
Камера реализована на стыке технологий перевода, поиска и компьютерного зрения — теперь она может делать несколько важных и нужных вещей:
Проверяем поиск товаров и их цены. Возьмём что-то местное. Всё отлично: цена адекватная (очевидно, за упаковку 6 шт.), ссылка на очевидный Яндекс.Маркет. Но вот что мне непонятно уже сейчас: эта бутылка точно есть в Яндекс.Лавке (и там куплена) — почему приложение не даёт ссылку на Лавку, в которой гораздо логичнее купить бутылку минералки, чем на Маркете?
Проверим на парфюме без коробочки. Итак, флакон с чёткой надписью камера распознала и цену нашла, а вот старый Shalimar с нечёткой надписью, но очень характерной уникальной формой флакона камера смогла найти только по поиску, без сделанного фото (то есть в режиме наведения) парфюм она не обработала. Ну и опять удивление: почему выбран не топовый сетевой магазин, а какая-то не внушающая особого доверия площадка?
Ещё интересное наблюдение: проверим схожие товары, например, творог 200 грамм, 9% и 12%. Камера в обоих случаях распознаёт товар, но не угадывает, ни вес, ни жирность (точнее, в первом случае угадывает жирность, во втором — вес). И опять же, ссылка на не самый популярный магазин (интересно, со временем будут подкидывать похожие товары из своих и партнёрских маркетов?).
Растения наведением камера не распознаёт, только по фото:
Сканер документов аккуратный, отображает и цветной, и чёрно-белый формат (кстати, иногда просят именно ч/б скан, а не фото и приходилось креативить в фотошопе).
Ну и напоследок перевод — он стал гораздо приятнее и удобнее, чем был у Яндекса раньше: больше нет дурацких жёлтых рамок и блоков. Однако сам перевод и работа с некоторыми фактурами упаковки — такое себе. Пока искала пример для перевода, камера при наведении перевела клавиатуру — так и оставим.
Что можно сказать об умной камере от Яндекса? Хороший, удобный инструмент, кейсов использования и коммерческих вариантов работы с ней — море. Вот мелочь, а хочется, чтобы Яндекс довёл идею до конца, потому что именно из таких приятных мелочей складываются пользовательские впечатления.
Умная камера Яндекса научилась распознавать еду, машины и уравнения
Интернет, 29 сентября 2021 года. Яндекс объявил о масштабном обновлении умной камеры. Теперь с её помощью можно узнать, сколько белков, жиров и углеводов в чипсах, что за необычный автомобиль припаркован у дома или как решить квадратное уравнение — для этого достаточно навести на них камеру или сфотографировать. В основе новых возможностей лежат поисковые технологии и компьютерное зрение.
«Визуальный поиск — это принципиально иной способ искать информацию. Вам даже не нужно формулировать вопрос, вы просто наводите камеру на объект и узнаёте о нём всё. Мы верим, что за визуальным поиском будущее, и смотрим, как люди реагируют на умную камеру, что им нравится, а что нет. Это помогает нам понять, куда двигаться дальше, чтобы камера становилась более удобной, функциональной и полезной для пользователей», — рассказывает Елена Бондарь, руководитель умной камеры Яндекса.
Поиск продуктов
Умная камера улучшила поиск по продуктам питания. Теперь она не только находит их в интернете, но и даёт подробное описание. Стоит навести камеру на пакетик сока или плавленый сырок, и она покажет их состав: количество жиров, белков и углеводов; наличие сахара и ГМО; содержание микроэлементов. А также — сколько в продукте калорий и как долго нужно плыть или бежать, чтобы их израсходовать.
Поиск автомобилей
Если навести камеру на автомобиль, она покажет его описание: марку, модель и технические характеристики. Человек сможет понять, что за машина перед ним, какая у неё мощность, скорость и расход топлива. Технические характеристики снабжены коротким и ёмким пояснением: например, «разгоняется как спринтер» или «вместительная, как сундук».
Решение задач
Умная камера подскажет порядок действий для решения линейных и квадратных уравнений. Для этого достаточно перейти в режим «Решения» и сфотографировать задание. Кроме того, камера поможет найти обучающие видео, которые подробно объясняют решение задач такого типа.
Новые функции
Пользоваться камерой стало удобнее. Если интерес вызвало что-то мелкое, теперь можно приблизить изображение с помощью зума. Появилась возможность сфокусировать камеру на интересующем объекте. А если его нет перед глазами, можно загрузить фото из галереи. Кроме того, появилась фронтальная камера. Она позволяет показать камере самого себя — например, чтобы она нашла стихотворение (поиск стихов по изображению работает в режиме «Поэзия»).
Умная камера была запущена весной этого года. Она умеет также сканировать документы, переводить текст и распознавать предметы. Например, она подскажет название цветка, породу собаки или магазин, где можно купить понравившуюся вещь. Камера доступна в приложении Яндекс для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.
«Яндекс» научила камеру распознавать еду, машины и уравнения
Компания «Яндекс» выпустила масштабное обновление умной камеры, благодаря которой нейросеть научилась распознавать марку автомобилей, определять количество белков, жиров и углеводов в чипсах и решать уравнения. Об этом редакции «Хабра» рассказали в пресс-центре компании.
По словам руководителя проекта по разработке умной камеры Елены Бондарь, «Визуальный поиск — это принципиально иной способ искать информацию». Пользователю не нужно формулировать запрос. Всё, что требуется, это навести камеру на объект, и система самостоятельно выдаст информацию о нём.
Таким же образом работает камера при определении характеристик продуктов питания. Теперь она не просто находит продукты в интернете, но и выдаёт информацию о количестве белков, жиров и углеводов, о калорийности, содержании сахара, ГМО и микроэлементов. Кроме того, она подскажет, как долго нужно плыть или бежать, чтобы израсходовать съеденные калории.
При наведении камеры на автомобиль система выдаст его марку, модель и технические характеристики, такие как скорость и расход топлива. По заверению компании, часть описаний снабжена короткими пояснениями, такими как «разгоняется как спринтер» или «вместительная, как сундук».
Для решения линейных и квадратных уравнений через умную камеру необходимо перейти в режим «Решения» и сфотографировать задание. Кроме выдачи ответа система посоветует несколько обучающих видео с подробным разъяснением задачи.
Кроме основных функций «Яндекс» добавила в умную камеру приближение изображения при помощи зума, фокусировку камеры на объекте (в том числе на фотографии) и возможность распознавать видео с фронтальной камеры.
«Яндекс» представила умную камеру на базе машинного зрения в апреле этого года. На момент выхода она уже умела распознавать предметы, переводить тексты и сканировать документы. Камера доступна в приложении «Яндекс» на iOS и Android.
Также «Яндекс» рассказала редакции «Хабра» о новой опции в «Яндекс.Почте» для подписчиков «Яндекс 360». Теперь без разрешения со стороны пользователя система не будет доставлять на e-mail рекламные или иные автоматические рассылки.
Не хуже Google Lens: умная камера Яндекса научилась распознавать предметы
Журналисты информационного издания vc.ru со ссылкой на представителя «Яндекса» сообщили, что умная камера данной компании обрела множество новых возможностей, объединив технологии компьютерного зрения и машинного перевода. Если раньше подобными возможностями мог похвастаться разве что сервис компании Google под названием Lens, то теперь практически все функции конкурента есть и в камере «Яндекса».
К примеру, обновлённая камера умеет в режиме реального времени распознавать самые различные объекты, после чего пользователь может запустить поиск по данному предмету. Это крайне удобно в случаях, когда пользователю нужна определённая книга, кресло или кружка со стильным рисунком, но найти предмет по поисковому запросу практически нереально, да и на это в любом случае уйдёт гораздо больше времени. А умная камера при помощи машинного зрения сканирует объект, после чего ищет его в интернете и даже может предложить сайт или платформу, где искомый предмет можно сразу приобрести.
Более того, в аналогичном формате можно «просканировать» растение, чтобы узнать его название или сразу же найти магазин, в котором можно купить такой же цветок в горшке, а также можно применять функции умной камеры для определения породы собаки или получения информации об определённом памятнике. Естественно, на этом разработчики не остановились — ещё камера умеет переводить в режиме реального времени надписи на иностранном языке. Для этого достаточно навести камеру на текст, после чего сервис переведёт надпись на русский (или на другой выбранный пользователем язык).
Дополнительным бонусом является сканер — пользователь может легко и быстро сделать цифровую копию любого документа, начиная от чеков и заканчивая дипломом об образовании.
Обновлённая умная камера уже доступна в приложении «Яндекса» на iOS и Android — для её включения нужно нажать на иконку камеры в поисковой строке.