что такое салют сбер и как им пользоваться
Голосовые ассистенты Сбер, Афина и Джой – что умеют и как пользоваться
Голосовой персональный помощник, который когда-то казался несбыточной мечтой, больше не является высокотехнологичной роскошью. Его услуги давно доступны для всех пользователей смартфонов.
Сбер Салют – голосовой помощник
Российские компании не остаются в стороне. Так, в прошлом году Сбербанк (после ребрендинга до просто Сбер) презентовал не одного, а целое семейство голосовых ассистентов под общим названием «Салют».
Джой, Афина и Сбер обладают не только уникальным голосом, но и собственным темпераментом, чтобы каждый человек мог выбрать «собеседника» по душе.
Голосовой помощник Сбер
Виртуальный помощник Сбер – яркий представитель сильного пола. Он интересуется современными технологиями, наделён врожденной интеллигентностью, вежлив, любит развлечения, привык к порядку во всём. Общается исключительно на «Вы».
Персонаж говорит голосом актера озвучки Даниила Щебланова.
Голосовой помощник Афина
Она – олицетворение спокойной и целеустремленной девушки, которая готова помочь пользователю структурировать все дела. Афина крайне продуктивна и хочет видеть то же качество в собеседнике.
Среди её интересов классическая музыка, кино в стиле арт-хаус и книги признанных авторов. Благодаря широкому кругозору, она способна поддержать любую беседу.
Афине принадлежит голос телеведущей Анастасии Чернобровиной.
Голосовой помощник Джой
Джой эмоциональный, свободный экстраверт. Её стиль общения придётся по вкусу молодежной аудитории. Она общается с пользователем на «ты», но не переходит личные границы.
Джой с радостью поможет решить бытовые вопросы, поддержит и развлечет.
Этому персонажу подарила свой голос актриса дубляжа Татьяна Ермилова.
Как скачать голосового помощника от Сбера
Виртуальные помощники «Салют» доступны для бесплатного скачивания в магазинах приложений Арр Store и Google Play.
Чтобы голосовой помощник работал корректно требуется приложение «Сбербанк онлайн» на том же устройстве.
Как подключить голосового помощника от Сбера
Если «Сбер Салют» и «Сбербанк онлайн» установлены, подключение голосового ассистента осуществляется автоматически.
Для общения с ним необходимо, чтобы работали микрофон и динамик.
Чтобы начать диалог, надо произнести команду «Салют». При этом «Сбербанк онлайн» или «Сбер Салют» должно быть в открытом режиме. Если хочется обратиться к конкретному помощнику, нужно назвать его по имени. Команда может звучать как «Салют, Афина» или «Салют, Сбер».
Как пользоваться помощником от Сбера
С мобильным ассистентом можно общаться в формате вопросов и ответов. Например, «Салют, Афина! Какая завтра ожидается погода?». Также можно отдавать голосовые команды. Например, «Найди куклу LOL по низкой цене». Возможно общение с ассистентом с помощью текстовых сообщений.
Что могут умные помощники от Сбера
Умные помощники созданы для того, чтобы сделать коммуникацию между пользователем и устройством более удобной.
Ассистенты обладают различными навыками. Базовая версия «умеет» следующее:
Разнообразие функций будет дополняться. В магазине приложений SmartMarket можно скачать дополнительные функции или создавать собственные. Навыки, которые пройдут модерацию, станут доступны не только для человека, создавшего их, но и для остальных пользователей «Сбер Салют».
Владельцы бизнеса, желающие использовать сервис для продвижения своих товаров и услуг, смогут заключить соглашение со Сбером и стать участником партнерской программы для разделения рисков и доходов по принципу revenue share.
Команды для голосового помощника «Салют»
Команды могут быть точными, такими как:
Или можно просто болтать:
Мобильные ассистенты «Салют» помогут освободить время и сделают жизнь более комфортной.
Во весь голос Зачем крупнейший банк России начал выпускать гаджеты
В сентябре Сбербанк провел крупную презентацию, в рамках которой не только анонсировал ребрендинг своей экосистемы (и теперь называется Сбер), а представил новую стратегию развития. Теперь это IT-компания, которая занимается разработкой сервисов и выпуском устройств. «Лента.ру» рассказывает, какие гаджеты представил Сбер и в чем их главная особенность.
Три в одном
Главное, что объединяет все устройства Сбера — семейство виртуальных ассистентов Салют. Это не обычная говорилка, способная отвечать на базовые команды и рассказывать о температуре воздуха за окном, а мощный инструмент, который может записать к врачу, перевести деньги родственникам или оплатить мобильную связь. В будущем навыков станет еще больше, так как компания открыла доступ к ассистенту для сторонних разработчиков.
Строго говоря, Салют — это три ассистента в одном. Сбер, Джой и Афина обладают разными характерами и дают разные ответы на вопросы. У них одинаковый набор навыков, но ключевое отличие — в подаче. Например, Сбер более сдержанный и ненавязчивый, Джой — жизнерадостная, с высоким эмоциональным интеллектом, а Афина — более собранная и спокойная.
Все три помощника могут поддержать разговор в свойственной для каждого из ассистентов манере, а также выполнить задания пользователя. Кроме уже упомянутых банковских операций, они могут включить музыку или фильм, заказать еду, найти справочную информацию и выдавать персонализированные ответы. Последнее реализовано за счет того, что Сбер, Джой и Афина проактивны и сами интересуются вкусами пользователя, формируя портрет человека, с которым общаются.
Все это собственная разработка SberDevices, начиная от формирования ответов на вопросы и заканчивая синтезом речи и блоком понимания языка. Система нейросетевого синтеза речи позволяет управлять ударениями, интонациями, темпом, смысловыми акцентами и даже эмоциональной окраской слов, а также использовать ряд специальных голосовых эффектов. Благодаря этому включенность во взаимодействие с пользователем выходит на новый уровень.
Виртуальные ассистенты будут доступны в приложениях Сбербанк Онлайн и Сбер Салют, а также встроены в умные устройства от Сбер — SberBox и SberPortal. В будущем эта система будет объединять все сервисы экосистемы в одном окне.
Коробка с сюрпризом
Первым самостоятельным устройством с ассистентами Салют стала медиаприставка SberBox. Эта небольшая коробочка подключается к телевизору через HDMI и скрыта от глаз, но превращает любой экран в центр развлечений для всей семьи. Гаджет позволяет смотреть фильмы, слушать музыку, играть в игры и решать бытовые задачи с виртуальными помощниками. Здесь наибольшее разнообразие функций ассистентов Салют, то есть виртуальный ассистент поможет с записью в салон красоты или в поликлинику, закажет снеки, найдет фильм или включит телеканал, ответит на вопросы, покажет пошаговый видеорецепт.
Но есть еще одна функция, которой не было ни в одном подобном устройстве. С приставкой можно покупать вещи, которые надеты на героях фильма, и сувенирную продукцию. Искусственный интеллект распознает происходящее на экране и в любой момент пользователь может поставить фильм на паузу, чтобы подобрать одежду как у героев фильма или купить тематические сувениры.
Кроме фильмов и сериалов, на приставке можно запускать обычные ТВ-каналы через провайдер каналов «Смотрёшка». Здесь доступно 185 цифровых телеканалов, транслирующихся через Wi-Fi. После окончания пробного периода 20 каналов из первого мультиплекса остаются бесплатными. Доступ к музыке осуществляется через стриминговый сервис СберЗвук с коллекцией из 40 миллионов треков. При использовании сервиса виртуальные ассистенты Салюта могут искать треки по названию, исполнителю или альбому, управлять воспроизведением и ставить лайки для улучшения рекомендательной системы. А еще он может запустить режим «Подпевай», при котором на экране будет показываться текст композиции с синхронной сменой строки.
«Телевизор — самый большой экран в каждом доме, тем не менее его возможности сейчас ограничиваются, по сути, потреблением видеоконтента. Однако если внедрить в него современного виртуального ассистента и обширные возможности экосистемы Сбер, получится совершенно новое устройство, которого ваша гостиная никогда не видела. Таков и был наш план, когда мы приступали к работе над SberBox, и мы рады, что все получилось. Кроме того, у этой концепции огромный потенциал — мы уже работаем над тем, чтобы количество полезных и нужных сценариев взаимодействия росло», — говорит CEO SberDevices Константин Круглов.
Отдельно в SberDevices озаботились играми на SberBox. Так, есть казуальные игры, управлять которыми можно с пульта, который идет в комплекте, вроде SwimOut, 2048 и Golf Peaks. Но еще в комплекте есть специальные джойстики, которые можно прикрепить к экрану смартфона, и тогда телефон станет полноценным геймпадом для приставки. У SberBox открытая платформа, и любой разработчик может создать приложение для работы с приставкой. Поэтому в будущем появится больше игр и программ.
Портал в другой мир
SberPortal — устройство совсем иного толка. Это не просто приставка для телевизора, а полноценный умный дисплей со встроенной акустикой и мощным железом. В России это первый продукт такой категории, объединяющий мультимедийные возможности, продвинутую акустику, видеозвонки, навыки голосового ассистента и способность управлять функциями умного дома.
Портал имеет 10-дюймовый FullHD-экран, акустику от Harman/Kardon и широкоугольную камеру. Разработчики предусмотрели, чтобы устройством можно было управлять не только через касания сенсорного экрана, но еще голосом и жестами. Голосовое управление работает с системой из шести микрофонов, распознающих команды на большом расстоянии и способных слышать пользователя даже в шумной обстановке. К тому же микрофоны можно отключить нажатием специальной кнопки, которая физически разрывает цепь питания.
С помощью жестов можно активировать ассистента, поставить лайк треку, остановить музыку или быстро приглушить звук. Эта технология реализована совместно с компанией VisionLabs и не требует никаких дополнительных датчиков — все считывается встроенной камерой. А обработка видеопотока происходит прямо на аппаратной платформе SberPortal с нейропроцессором, то есть эти данные никуда не уходят и остаются на устройстве.
С помощью камеры можно осуществлять видеозвонки, в которых работает функция автоматического удержания пользователя в центре кадра. Система отслеживает положение человека в кадре и следует за ним, обрезая и приближая картинку, если он отошел или, наоборот, приблизился.
В остальном SberPortal работает на платформе StarOS разработки SberDevices, которая предлагает все многообразие мультимедийного опыта: можно смотреть фильмы и ролики, слушать музыку и играть в игры. Сторонние разработчики также могут участвовать в развитии платформы.
«SberPortal — уникальное не только для российского, но и для мирового рынка устройство. Пожалуй, ни в одном смарт-дисплее не реализовано столько инноваций и нововведений сразу. Нам удалось не просто оснастить устройство современными возможностями, но и сделать так, чтобы они работали вместе в удобных пользовательских сценариях. Ни один элемент не оказался здесь случайно, каждая деталь служит своей цели в нескольких сценариях. SberPortal — пример слаженной работы многих компаний экосистемы Сбер. Помимо интегрированных пользовательских сервисов, участие в создании устройства принимали и исследовательские лаборатории, и другие компании экосистемы», — добавляет Круглов.
SberBox уже можно приобрести по специальной цене 2990 рублей в фирменном интернет-магазине, на популярных маркетплейсах, у сетевых ретейл-партнеров, а также заказать в некоторых офисах Сбербанка — спецпредложение действует до 23 ноября. Кроме того, доступна подписка SberBox Prime, в рамках которой пользователи получат пакет Okko Оптимум на два года, а медиаприставку SberBox — в подарок. Оплатить подписку можно как единовременным платежом за 6490 рублей, так и равными платежами за 349 рублей в месяц.
Как подключить салют от Сбера
В сентябре 2020 года Сбер представил совершенно новую технологию «Салют». Это многофункциональный сервис с огромным спектром возможностей.
Что такое «Салют»: преимущества использования
Виртуальная система «Салют» представляет собой трех помощников, которые помогают экономить время. Человеку достаточно просто обратиться к нему с просьбой и она будет выполнена. К примеру, необходимо перевести деньги на счет или же пополнить мобильную связь: достаточно просто активировать помощника словом «Салют» и попросить сделать необходимое.
Компания создала три интеллектуальных разума: Сбер, Афина и Джой. У каждого свой голос и даже характер. Сбер (голос Даниила Щербакова)— обладает неплохим чувством юмора, а также может похвастаться широким кругозором. Афина (голос Татьяны Ермиловой) — собранная и настроена на помощь своему пользователю. Что же касается Джой (голос Насти Чернобровиной), то это веселый и очень эмоциональный помощник, который отлично справляется с бытовыми проблемами.
Сервис «Салют» может быть синхронизирован не только с телефоном, а так же с:
С помощью «Салюта» можно:
В «Салют» можно добавлять все сервисы Сбера. Приложение бесплатное, а вот предложения, представленные экосистемой Сбера, стоят согласно тарифному плану.
Как активировать «Салют»
Если у пользователя уже есть аккаунт в СберОнлайн (важно знать личный логин и пароль), то и подключение займет несколько минут.
Чтобы активировать «Салют» понадобится:
После этого пользователь может самостоятельно настроить и синхронизировать приложение с другими устройствами.
Первое, что видит перед собой каждый — это главная страница. Внизу есть большая зеленая кнопка, с помощью которой можно сменить персонажа. Нажав на «Устройства» можно увидеть доступные для добавления устройства. На данный момент там есть:
Также внизу есть пульт и вкладка «Профиль».
«Салют» для SberBox
SberBox — это телеприставка, которая подключается к телевизору, а управлять ей удобно с помощью сервиса «Салют». Девайс подойдет только для тех телевизоров, которые поддерживают HDMI (функция направлена на распознавание голосовых команд, позволяет смотреть видео, слушать музыку и играть в игры). Соответственно, нужен будет свободный доступ к Wi-Fi, чтобы использовать возможности девайса и сервиса максимально.
Подключается девайс очень просто, надо просто вставить кабель в разъем HDMI. После этого необходимо зайти в приложение на телефоне и в разделе «Устройства» подключить SberBox (сопряжение происходит по логину и паролю).
После подключения у пользователя в доступе появится более 145 каналов (20 из них будут бесплатными на постоянной основе). Остальные сервисы надо будет подключить (оплатив их тарифную стоимость), а если это было сделано ранее, то выполнив вход, например, в Okko, то кинотеатр будет доступен без дополнительных вложений.
Примечание! Цена на SberBox фиксированная и составляет 3550 рублей.
Так как «Салют» запустили не так давно (в сентябре 2020 года), то в нем еще есть над чем работать. Например, расширять возможности функционала. В любом случае новинка уже получила положительные отзывы и нашла своих клиентов.
Моё знакомство с виртуальными ассистентами Салют, а также с платформой SmartMarket и SmartApp
Предыстория
В сентябре 2020 года Сбер анонсировал семейство виртуальных ассистентов:
Сбер — мужской голос. Общается официально, к пользователю обращается на «Вы»;
Афина — женский голос. Общается официально, к пользователю обращается на «Вы»;
Джой — женский голос. Общается неофициально, к пользователю обращается на «Ты»;
SmartApp (смартап или в простонародии навык) — это приложение, которое расширяет возможности виртуального ассистента и может дать пользователю не только красивый интерфейс, но и множество способов взаимодействия с ним: голосом, касанием, текстовым вводом, пультом и даже виртуальным геймпадом.
В SmartApp Studio собраны инструменты для создания смартапа:
Graph — это визуальный конструктор для создания смартапов. Полезен тем разработчикам у которых нет опыта в программировании;
Code — среда разработки на языках SmartApp DSL и JavaScript. Для тех кто уже имеет опыт в программировании;
API — возможность вынести свой навык за пределы платформы;
24 сентября для сторонних разработчиков Сбером была запущена группа в ТГ @smartmarket_community. 3-го октября я сам присоединился к этой группе.
Прочитав, к тому моменту, совсем скудную документацию всё же решил попробовать развернуть свой Chat App на SmartApp API.
Хоть я по профессии не программист, но у меня уже были свои навыки на другой платформе и API обеих платформ имеет сходство.
Мои навыки работают как раз по API, так как он даёт большую гибкость, ведь всё в твоих руках.
Что сразу понравилось
Не стану описывать процесс портирования навыка, так как это уже даже в документации есть (плюс можете посмотреть вот этот пример), а лишь опишу некоторые вещи, которые я тогда для себя отметил:
Голос выбирает ПОЛЬЗОВАТЕЛЬ, а не разработчик. Моё мнение как раз такое же, что выбор должен быть за пользователем. Ведь это он взаимодействует с ассистентом и навыком и ему лучше знать какой голос ему комфортнее слушать. Более того, голос ассистента можно сменить налету (даже внутри смартапа) просто позвав нужного вам ассистента. Для этого нужно сказать «позови » и всё. Узнать какой голос используется пользователем можно из объекта character.
У каждого ассистента не только свой голос, но и своя цветовая гамма.
Отдельные типы сообщений при входе (RUN_APP) и при выходе (CLOSE_APP) пользователя из смартапа, а также сообщить платформе об ошибке (ERROR).
Возможность разбивать текст на экране на несколько блоков (bubble) для улучшения визуализации информации.
Для тестирования смартапов можно использовать приложение Сбер Салют (App Store, Google Play) на смартфоне или тестировать смартапы прямо на устройствах SberBox и SberPortal.
Даже если смартап ещё не прошел модерацию, то всегда есть возможность запустить его на том устройстве где вход выполнен под тем же Сбер ID, который использовался при создании навыка в SmartApp Studio. Также относительно недавно появилась возможность давать доступ к неопубликованному смартапу и другим людям. Для этого нужно просто скинуть им сгенерированную ссылку.
Chat App
Выбор chat app был обусловлен тем, что на момент запуска платформы сanvas app ещё не был доступен для сторонних разработчиков.
Как сейчас пока ещё недоступен Native App (но уже скоро должен и он быть в доступе).
Не мало времени пришлось потратить на фразы смартапа, которые озвучивает ассистент. Ведь голос ассистента, а значит его пол, выбирается пользователем, а не разработчиком. Плюс к этом обращения на «Вы/Ты» тоже заняло некоторое время, но вот уже 12.10.2020 мой первый chat app прошёл модерацию, а затем был добавлен в каталог приложений.
chat app
Но, на тот момент у chat app не было возможности проигрывать звуки или показывать картинки. Поэтому я очень ждал запуска и возможности использовать canvas app, так как там такой проблемы не существовало. И вот уже в конце октября canvas app стал доступен для сторонних разработчиков.
Что такое Canvas App?
Canvas App – это web-приложение (среда исполнения браузер), управление которым реализуется через assistant-client.
Canvas App открывается внутри WebView (Android, iOS). HTML, CSS и JS (это frontend) загружается непосредственно в WebView на клиенте (SberBox, SberPortal, мобильное приложение Сбер Салют).
Чтобы не рисовать и не дублировать картинку-схему я взял её из этой статьи:
Простыми словами как это работает:
пользователь запускает смартап;
его запрос через платформу прилетает в webhook смартапа (который был указан в настройках SmartApp Studio) в виде текста;
параллельно этому устройство пользователя загружает страницу (которая также была указан в настройках SmartApp Studio — Frontend Endpoint);
webhook и frontend между собой «общаются» посредством assistant-client;
frontend, реагируя на команды от webhook, меняет что-то на экране пользователя, а также сам может передать что-то на webhook, если пользователь совершит некое действие на странице;
Вот так выглядит создание canvas app (с использованием API) в SmartApp Studio:
Что внутри у canvas app?
Webhook может передать данные в frontend с помощью объекта command:
Данные, которые указаны значении ключа smart_app_data, будут переданы на frontend. Порекомендую обмениваться именно объектами, а не строками.
версия для ReactJS (пример использования можно увидеть тут)
версия для подключения на странице через script (пример можно увидеть тут)
Если ReactJS Вам не знаком, то самый быстрый способ подключить и попробовать assistant-client на frontend это использовать script:
Такой способ подключения тоже был добавлен позднее запуска canvas app и Вы можете о нём не знать, но теперь он есть.
В этом примере подключение ReactJS нужно для работы самого assistant-client.
Как было сказано ранее assistant-client это «мост» между webhook и frontend и он не только обеспечивает работу canvas app, но и даёт нам возможность локального тестирования своих canvas app прямо в браузере на своём компьютере без использования SberBox, SberPortal или приложения Сбер Салют.Assistant-client как бы эмулирует конечное устройство пользователя в вашем браузере.
Добавим на страницу в body:
Благодаря assistant.createSmartappDebugger мы и получаем возможность использовать эту страницу локально и тестировать используя реального ассистента.
Открываем своим браузером URL (где расположена страница) и указываем параметр devel. Например: https://example.ru/frontend.html?devel=true
И если Вы всё сделали правильно, то открывшись страница запустит «мост» с платформой и Ваш смартап.
Ваш webhook получив запрос отправит smart_app_data и Вы увидите его содержимое на своём экране в div с id «command»:
Вместо «покажи что-нибудь» можно ввести любой текст и он отправится на webhook точно так же если бы мы сказали это голосом.
ac.on(‘start’. ) используется только на старте смартапа. Там мы получаем начальные данные. Например, какой ассистент используется пользователем и smart_app_data от нашего webhook.
Далее всё будет приходить в ac.on(‘data’. ).
ВАЖНО:
Помните, что assistant.createSmartappDebugger используется ТОЛЬКО для тестирования. Во всех остальных случаях должен использоваться assistant.createAssistant.
Так наша страница стала реагировать на данные, которые получены от webhook в ac.on(‘data’. ) и в функции processData вы можете их обрабатывать и менять что-то на странице в зависимости от пришедших данных. Например проиграть звук (с помощью Audio()) или отобразить картинку/видео.
Теперь нужно сделать обратную связь от frontend к webhook. Нужно это для того, чтобы мы смогли обработать какое-то действие пользователя на этой странице.
Например нажатие на кнопку. В приложении Сбер Салют и на Sberportal пользователь может нажать на кнопку пальцем (touch), а на SberBox пультом.
Добавляем кнопку в body страницы:
В script делаем обработчик по нажатию этой кнопки с отправкой на webhook команды (для примера) в виде названия id элемента кнопки:
Если пользователь нажмёт на такую кнопку, то согласно коду выше в webhook придет сообщение с типом SERVER_ACTION:
И таким образом можно обработать это сообщение на webhook согласно логике смартапа и webhook отправит на frontend свой ответ на эту команду.
В canvas app ограничений практически нет (на сегодняшний день известно лишь об ограничениях на использование localstorage, а также камеры и микрофона устройства).
Для одного из своих canvas app я даже применил websocket и это работает. Проблем с созданием многопользовательских сетевых canvas app у Вас не должно возникать.
Поле для вашего творчества практически безгранично.
Исходный код примера, который описан мной выше, можно скачать на github.
Отмечу, что благодаря существованию github pages Ваш frontend может быть размещён на github.
Так я создал canvas версию для своего chat app и при этом webhook у них один и тот же.
canvas app
Очевидно, что canvas app уже совсем другой уровень взаимодействия с пользователем и делает смартап более реалистичным.
Помните, что смартапы типа canvas app должны корректно отображаться на разных устройствах (SberBox, SberPortal и другие). Для этого необходимо проверять смартап на следующих разрешениях: 559×568, 768×400, 959×400, 1920×1080.
Настроить и протестировать эти разрешения можно в Chrome на вкладке Devices.
Планы
Мои дальнейшие планы это не только создать ещё несколько canvas app, но попробовать монетизировать смартап. SmartMarket предоставляет возможность встроить в смартап приём платежей от пользователей посредством API.
Заключение
В заключении хочу сказать несколько вещей:
при отладке canvas app не забывайте посматривать в консоль браузера (F12);
клиенты (устройства) кешируют страницу и поэтому рекомендую всегда выводить на экран номер версии;
на данный момент canvas app нельзя запустить только в приложении СберБанк Онлайн, но вскоре эта возможность появится и там;
стали появляться первые видео уроки от Сбера;
есть система тикетов где Вы можете заявить о проблеме или сделать запрос на новый функционал;
есть Community roadmap где можно посмотреть статусы тикетов;
Хочу сказать спасибо команде SberDevices за открытость (особенно за общие встречи с сообществом в zoom) и конечно за то, что прислушиваетесь к мнению сообщества. Это безусловно ваше преимущество перед другими.
Также хочу поблагодарить пользователей моего смартапа, благодаря которым я смог выиграть в первом этапе конкурса. Спасибо, что оценили мои старания.