искусственный интеллект какая специальность
8 новых профессий в сфере искусственного интеллекта
Какие профессии будут востребованы в эпоху информационно-технологических инноваций? Какие новые рабочие функции потребуются от человека?
Если вы интересуетесь влиянием искусственного интеллекта на организацию IT сферы, то, возможно, вы прежде всего задумываетесь о своей собственной работе. Смогут ли роботы делать то, что делаете вы? Что еще более важно, выражаясь хоккейным языком, вы хотите быть там, куда направляется шайба. Так какие же новые роли возникнут и будут цениться с дальнейшим развитием ИИ? Кевин Кейси в своей статье на приводит мнения профессиональных IT экспертов.
Алекс Джеймс, который возглавляет отдел исследований и разработок в DigitalOcean, замечает, что сегодня знание ИИ и машинного обучения является прерогативой людей с научными степенями. «Растущий спрос в этой области может открыть двери для самых разных типов экспертов», — говорит он. «По-прежнему останутся собственно научные работники в таких областях как вычислительная техника и электротехника, с глубокими знаниями и опытом в области ИИ и машинного обучения. Но мы также увидим и практиков, которые быстро научатся использовать новые технологии с целью получить преимущество от растущего числа новых профессий, но при этом не будут иметь глубокого понимания того, как это все работает».
Потребность в «практиках» станет одним из главных факторов при создании новых профессий, при том что многие старые просто исчезнут.
«Хотя ИИ ведет к автоматизации многих видов работ, он также создаст много новых возможностей трудоустройства, особенно в IT сфере»,- говорит Акаш Ганапати, один из основателей и руководителей компании Thrill A.I. Ганапати ожидает, что в крупных информационно-технологических компаниях растущий акцент на ИИ и машинном обучении приведет к появлению новых ролей по ряду направлений, включая:
И это только отправная точка. Вот некоторые другие названия профессий и рабочих функций, которые, по мнению экспертов, должны появиться в будущем.
1. Конструктор систем искусственного интеллекта
«Я вижу таких специалистов как профессионалов, отвечающих за выбор того как, когда и где нужно развивать те или иные компоненты ИИ в больших и сложных IT системах», — говорит Алессандро Перилли, Директор по менеджмент стратегиям в Red Hat.
Он видит данную служебную позицию как продолжение сегодняшней роли специалистов по искусственному интеллекту, но с одним ключевым отличием.
«В моем понимании сегодняшние специалисты по ИИ больше специализированы на том, чтобы превращать нормальные приложения в смарт-приложения. И в ряде случаев это все, что бывает нужно компании. Но постепенно, по мере того как ИИ станет все более проникать в ассортимент компьютерных приложений и можно будет значимо коррелировать все большее количество элементов интеллектуальной среды, появится потребность в специалистах, владеющих общей картиной и умеющих объединять локальные интеллектуальные приложения в единый корпоративный мозг».
«Мне видится здесь аналогия с эволюцией человеческого мозга. Это очень увлекательно. Мы находимся на ранних стадиях развития искусственного интеллекта, и мы все еще думаем об изолированных смарт-приложениях как о нейронах, отвечающих за тот или иной аспект работы мозга. Но эти нейроны имеют огромный потенциал объединения, как это произошло в нашей коре головного мозга. И для этого понадобится конструктор систем ИИ».
2. Специалист по работе с данными
«Хотя ИИ будет справляться с большей частью рутинных IT решений, которые сейчас принимаются людьми, он сильно зависит от данных, которые организованы, очищены и снабжены семантическим значением», — говорит Даг Бордонаро, главный специалист по информационному пропагандированию в компании ThoughtSpot. «Сегодня аналитики и специалисты по математическому моделированию разделяют эту функцию, но эти позиции в основном ответственны за обеспечение понимания ситуации и нахождение решений. По мере того, как ИИ сможет принять на себя «инсайтную» часть работы, мы увидим новую роль для специалистов по работе с данными, которые будут сфокусированы на подготовке данных для использования в алгоритмах ИИ внутри организации».
3. Специалист по информационному пропагандированию
«ИИ обещает понизить планку входа для данных и облегчить взаимодействие, но не станет волшебной палочкой, благодаря которой мы неожиданно начнем с легкостью использовать данные для любых решений», — говорит Бордонаро. «Даже после внедрения приложений с ИИ, компании будут должны обучать внутри своей организации тому, какие данные у них доступны, как их можно применить и как они должны применяться».
«Вот почему внутренняя информационная пропаганда станет критическим моментом для внедрения и роста решений на базе ИИ. Компании будут инвестировать в таких специалистов, основной задачей которых внутри организации будет обучать пользователей тому, как можно принимать решения, управляемые данными, и как изменить традиционные потоки заданий и делопроизводства, чтобы получить преимущество от новых возможностей».
4. Специалист по использованию данных в машинном обучении
«Эта функция, не новая сама по себе, будет востребована в крупных информационно-технологических компаниях как средство более полной реализации потенциала машинного обучения. Компании должны будут нанимать соответствующих специалистов, которые будут реализовывать работу системы, обучать ее и предоставлять аналитические данные для увеличения ценности собранной информации», говорит Тодд Лепке, ведущий инженер по развитию технологий в Sungard Availability Services.
5. Аналитик роботизированных процессов
«Это разновидность роли бизнес-аналитика, где вы осуществляете оценку обработки данных и определяете области использования роботизированных платформ для процесса автоматизации», — отмечает Феликс Фермин, менеджер по набору персонала в Mondo.
6. Менеджер по цифровой информации
Дуэйн Форрестер, вице-президент по промышленным решениям в компании Yext, указывает, что виртуальные помощники и другие «умные» сервисы — Alexa, Siri, Google Home и так далее – уже меняют то, как потребители открывают для себя и выбирают те или иные бренды. Компаниям придется инвестировать в то, как они управляют имеющейся информацией о самих себе в «интеллектуальной экосистеме».
«В эпоху структурированных данных будут востребованы профессионалы, предоставляющие контекст для карт, визуальных инфо-карт, различных решений и иной цифровой информации. Компании все чаще назначают менеджера по цифровой информации в качестве межфункционального лидера, отвечающего за стратегию компании, лежащую в основе ее ключевой цифровой информации, и это основа успеха компании в последующие годы», — говорит Форрестер. «Начиная от обеспечения точных онлайн данных до увязывания между собой внутренних проектов и увеличения ценности инвестирования в контент, продукт и контекст, эти менеджеры будут регулировать цифровой аспект деятельности компаний в будущем».
7. Разработчик взаимодействия с ИИ
Будет расти потребность в профессионалах в области IT и дизайна, создающих интерфейсы искусственного интеллекта для массовой аудитории, утверждает Фремин из Mondo. Эта роль позволит «создавать индивидуализированные ИИ системы с целью сделать их как можно более похожими на человека».
8. Когнитивный копирайтер
Шон МакФедран, директор по разработке перспективных платформ в Smith Labs, ожидает, что данная позиция будет растущим трендом по мере того, как все большее количество компаний начнут встраивать функции обработки естественного языка в свое взаимодействие с клиентами. Это хороший пример роли, которая выходит за пределы традиционных задач. Это смешение технологии, маркетинга, обслуживания клиентов и других дисциплин. МакФедран так определяет данную профессию:
Это технически-ориентированный креативный писатель, который:
«Технолог зачастую меньше сфокусирован на восприятии пользователя, а копирайтер на практических ограничениях обработки естественного языка», — говорит МакФедран. «Эти двое встретятся в роли когнитивного копирайтера, того, кто хорошо знаком с древовидными логическими схемами, задаваемыми функциями, передачей данных, с тем, что бренд хочет сказать своему покупателю, и с нюансами покупательского поведения».
Киберпсихолог, DS-коммуникатор, разметчик: какие профессии создаст искусственный интеллект
Машинный интеллект обыгрывает людей в го и ищет преступников по фото. А еще он меняет рынок труда — существует множество рейтингов с профессиями, которые искусственный интеллект уничтожит. «Афиша Daily» попросила специалистов пофантазировать: а какие профессии искусственный интеллект, наоборот, создаст.
Киберпсихолог
Что это за профессия
Это некий посредник между человеком и машиной в той части, где действия роботов затрагивают этические аспекты. Сейчас к этим вопросам подходят вплотную, в частности, по вопросам движения автомобилей-беспилотников.
Какого эксперта вызывает суд для разбора ситуации с авариями беспилотных автомобилей? Есть две позиции: позиция общества и производителя. Кто может быть арбитром? Насколько компетенции судьи достаточно? Обычно в свидетели вызывают инженеров, но это половина того, что нужно.
В США суды могут фактически работать как частные компании. И этот специалист — киберпсихолог — может совмещать свою роль с ролью судьи. Как суд в Лондоне занимается финансовыми бумагами, суд, скажем, в Калифорнии будет заниматься конфликтами, связанными с взаимоотношениями роботов и людей.
Какими вопросами займется такой специалист
Есть ситуации, в которых нет хорошего решения, а его качество определяется общественным договором. Это что-то на грани жизни и смерти людей — кто-то все равно должен пострадать. Нужно выбрать, кто это будет. Единственный способ решить — соотнести алгоритмы с тем общественным договором, который существует. Например, мы понимаем, что ценность человеческой жизни в разных обществах разная.
Гармонизировать антропогенные требования общества с алгоритмами должны посредники, у которых есть понимание и психологии общества, и работы алгоритмов.
Человек должен будет консультировать разработчиков алгоритмов и, с другой стороны, разъяснять работу алгоритмов общественным институтам. Это применимо к любым областям, где человек и машина сталкиваются в непосредственном контакте с возможностью нанесения вреда человеку: опасные производства, роботизированные средства транспорта.
Не только машины нуждаются в таком посреднике, но еще и финансовые алгоритмы. Они могут создать панику на рынках, и начнутся лавинообразные процессы. Работа этих алгоритмов сталкивается с непониманием общества, которое говорит: «Роботы всех нас погубят, давайте их отключим». И в этот момент на сцену должен выйти некий медиатор этого процесса.
Где этому научат
Я не думаю, что в будущем люди будут учиться где-то конкретно, они будут набирать знания из разных мест в соответствии со своей ролью, профессией. У киберпсихолога должны быть знания в области психологии, социологии, истории, культуры, философии и этики, а также набор специфических знаний, связанных с математикой, в той части, в которой она работает с нейронными сетями, базовых знаний в части разработки компьютерных приложений, в какой-то степени — нейробиологии.
Много ли заплатят
Я считаю, это будет один из самых высокооплачиваемых специалистов, топовая должность, требующая высокой специализации. У него должен быть и высокий IQ, и высокий EQ — эмоциональный интеллект. Это редкая комбинация. И это одна из тех профессий, которую роботы не могут заменить.
Разметчик данных
Что это за профессия
Профессия, которая уже фактически есть. Она связана с разметкой данных. Что это такое? К примеру, мы скачали кучу видео с YouTube и хотим научить ИИ различать, где на видео человек играет в футбол, а где — в компьютер. И тут нужна монотонная человеческая работа, где надо будет говорить: «Вот, на этом участке происходит то-то» или «Вот, в этой области видео человек делает то-то». Например, для автомобилей нужно делать разметку знаков.
Система на основе этих данных учится работать. Как идет обучение? 70% ответов мы показываем ИИ, а еще 30% он должен предсказать.
Помните недавнюю презентацию Google, где их голосовой ассистент спрашивал насчет свободного столика в ресторане? Там было три технологии: синтезирование речи, понимание текста из звука, понимание смысла из текста. Чтобы из звука получить текст, нужна разметка данных. Когда мы хотим передать системе человеческие скиллы, нужна разметка данных.
Есть проблема: как научить систему работать в разных условиях? Самый простой пример — автопилот. Нужно, чтобы автомобиль ездил днем, ночью, по Москве, по Сан-Франциско, по трассе, по пробкам. Этих условий очень много. Чтобы научить им систему, надо собрать и разметить данные во всех условиях.
Много ли заплатят
Развитие ИИ находится на очень ранней стадии, и спрос на таких людей будет расти. При этом есть разметка неквалифицированная — к примеру, размечать YouTube, — а есть разметка квалифицированная, например, врачи размечают снимки пациентов на МРТ, а технологи с завода определяют какую-нибудь продукцию и ее качества.
Разметкой на YouTube может заниматься кто угодно на фрилансе или удаленке. Никакого входного требования к этим людям нет. А чтобы решить проблему с ошибками, одну и ту же картинку должны размечать несколько людей. Неквалифицированная работа будет низкооплачиваемой — около трех-четырех долларов в час эффективной работы. Это что-то вроде копирайтинга.
А, скажем, врач будет получать до тысячи долларов в час за разметку. В США стоимость хорошего юриста или врача примерно такая же. В чем сложность? Мы можем научить ИИ решать узкую задачу с высокой точностью, с более высокой, чем у человека, например, поиску рака на МРТ. Чтобы исключить ошибку в разметке, мы показываем снимок трем-четырем людям и убеждаемся, что они разметили его верно.
Много ли таких специалистов появится
Эта профессия будет очень популярной — огромный объем задач, и он будет расти. Огромный челлендж — попытаться разметить весь YouTube. Он хранит не только изображения, но и звук. Этот объем пока кажется нереальным для разметки.
Инженер-дизайнер нейропластики
Что это за профессия
Если заглянуть в будущее, когда технологии искусственного интеллекта будут развиты настолько, что появится реальная возможность объединить человеческое сознание и машинный интеллект в одном организме, то возникнет профессия, которая могла бы называться «Инженер-дизайнер нейропластики». Этот специалист будет создавать нейросети под потребности и задачи конкретного человека с учетом его индивидуальных способностей и недостатков.
Уже сейчас очевидно, что машины смогут опережать нас во многом, но далеко не во всем. Поэтому именно эффективное сочетание нейровозможностей человека и искусственного интеллекта даст наибольший результат и поможет создать «супергероя», способного справляться с конкретной задачей лучше, чем человек или машина по отдельности.
Какими вопросами займется такой специалист
Примеры воплощения этой идеи мы видели только в фантастических фильмах, ведь реализация потребует решения многих технических, химических, энергетических и биологических вопросов. Вместе с эволюцией технологий искусственного интеллекта будет изменяться и спектр задач нейроинженеров.
Дизайн «цифрового мозга» под желания заказчика, проектирование соответствующих алгоритмов и оптимизация ИТ-мощностей, потребляемых ими.
Возникнет потребность в дальнейшем тюнинге нейропомощника с учетом практики его применения конкретным человеком, а также в управлении взаимодействием и объединением сотен микросоветчиков в сбалансированную экосистему — интеллект.
Специалист по нейропластике будет ответственен и за встраивание этого искусственного интеллекта в живой организм и обеспечение их гармоничного сосуществования.
Где этому научат
К тому времени область человеческих знаний и сама система образования претерпят серьезные изменения. В приоритете будут многопрофильные специалисты с широком спектром компетенций и навыков. Поэтому появятся новые дисциплины, объединяющие базовые знания, основанные на многовековом опыте человечества, и самые современные области науки и технологий.
Много ли заплатят
Это будет одна из самых высокооплачиваемых профессий.
DS-коммуникатор
Что это за профессия
С применением искусственного интеллекта растет спрос на специалистов-гуманитариев. Но их задача не в том, чтобы переводить язык человека на язык машин и наоборот, как это принято считать, — все гораздо прозаичнее. Нужны гуманитарии, способные понятно и лаконично сформулировать задачу техническим специалистам, в частности, дата-сайентистам.
Какими вопросами займется такой специалист
Назрела проблема: люди каждый день производят большие данные в большом объеме, но пока мы не умеем извлечь из этого большую пользу. Почему так происходит? Есть те, кого мы называем дата-сайентистами, это неоднородная группа. В ней можно выделить тех, кто формулирует вопросы и гипотезы, которые будут проверяться на данных. Назовем этих людей дата-сайентистами. И есть дата-аналитики, которые «очищают» данные, находят в них самое ценное и формулируют ответы. В этой цепочке критически не хватает специалиста, который мог бы что называется «почувствовать» данные, сформулировать повестку для отдела DS (Data science. — Прим. ред.), выступить коммуникатором между специалистами, работающими с большими данными, и менеджментом компании.
Что нужно уметь
Такой DS-коммуникатор должен хорошо понимать, как работают алгоритмы, используемые для анализа данных, и одновременно разбираться в том, как устроен бизнес. Он должен быть готов к тому, что дата-специалисты хотят слышать только очень конкретные, буквальные формулировки задач без возможности интерпретации. Каждое слово в этом процессе на вес золота.
Когда это появится
Такая междисциплинарная специальность будет формализовываться в ближайшие несколько лет со специальными программами подготовки при крупных компаниях. Оплата у DS-коммуникатора будет сравнима со ставками программистов.
Конструктор персональной медиасреды
Что это за профессия
Такие профессионалы уже начинают появляться: это специалисты по машинному обучению, аналитики и программисты. На основе больших данных они обучают формулы, с помощью которых музыкальные сервисы рекомендуют треки, плейлисты и радиостанции, наиболее подходящие человеку.
По мере развития технологии умные плейлисты научатся не только подбирать музыку под вкусы пользователей, но и учитывать разнообразные контексты — занятия, самочувствие, — они начнут самостоятельно включаться и выключаться в нужный момент, проигрывать не только музыку, но и другой аудиоконтент, в том числе сгенерированный автоматически. Звуковая среда станет более персональной и потребует меньше усилий пользователя. Персональный плейлист дня будет с человеком все время, поможет создавать настроение, эффективнее работать, расслабляться, узнавать полезную информацию и просто отдыхать от всего.
Какими вопросами займется такой специалист
В будущем количество специалистов в этой области и спектр их компетенций расширится. Появятся эксперты по регулированию настроения и эмоций с помощью звуков, по анализу состояния организма — пульса, сердцебиения, двигательной активности, электромагнитного поля, — по подбору и генерации музыки и фоновых звуков. Пока эти направления находятся на стадии исследований или внедрения в других областях. В перспективе пяти-десяти лет мы увидим их массовое распространение и интеграцию в персональную мультимедиасреду.
Наиболее очевидная компетенция для специалиста в этой области: машинное обучение, то есть математика и программирование. Без этого невозможна никакая персонализация, тем более такая сложная. Однако силами одних математиков и программистов задачу не решить; здесь также будут важны знания в области психологии, физиологии, UI/UX. Не обойтись в этой задаче и без творческих навыков, а также без умения предвидеть и разрешать различные юридические и этические вопросы, связанные с проникновением технологий в жизнь человека.
Много ли заплатят
Как и во многих других областях, вероятно, мы будем здесь иметь дело с очень неравномерным уровнем дохода в зависимости от специализации и уровня экспертизы. Собственно машинное обучение, вероятно, довольно скоро превратится в навык, которому будут учить в школе. Возможно, даже отдельных «специалистов по машинному обучению» вообще не будет (как нет сейчас отдельных «специалистов по работе на компьютере»). Это будет просто одно из умений, которым владеют представители разных профессий. Рядовые специалисты, проверяющие чужие гипотезы, вряд ли будут зарабатывать много. А вот высококлассные эксперты, будь то в сфере искусственного интеллекта, психологии, музыки, дизайна, те, кто способен генерить принципиально новые гипотезы, оказывающие влияние на виртуальный мир миллионов людей, будут получать очень щедрое вознаграждение.
Ultimate Guide по карьере в AI: как выбрать специальность, прокачаться и найти классную работу
3 августа в наших соцсетях выступал Сергей Ширкин, специалист по ML и искусственному интеллекту.
Сергей занимался автоматизацией финансовых технологий и базами данных в «Сбербанке» и «Росбанке», построением финансовых моделей на основе машинного обучения и аналитической деятельностью в компании Equifax. Прогнозирует телесмотрение с применением методов искусственного интеллекта в Dentsu Aegis Network Russia. Приглашённый преподаватель ВШЭ (магистерская программа «Коммуникации, основанные на данных»).
Также Сергей исследует квантовые вычисления в приложении к ИИ и машинному обучению. Он стоит у истоков факультетов Искусственного интеллекта, Аналитики Big Data и Data Engineering онлайн-университета Geek University, на которых работает деканом и преподавателем.
Делимся с вами расшифровкой эфира и записью.
Меня зовут Сергей Ширкин, сегодня мы поговорим об искусственном интеллекте. Обсудим начальные пути – как попасть в искусственный интеллект, как обучиться необходимым предметам, какие курсы пройти, какую литературу читать, как начать карьеру. Также про различные направления.
Сегодняшние темы могут быть интересны не только новичкам, но и опытным программистам – например, как перейти из сферы программирования в сферу машинного обучения, искусственного интеллекта, нейронных сетей. В зависимости от того, в какой технологии человек занимается и какие языки изучает, практичный переход в эту сферу может проходить по-разному. Специальностей в ИИ очень много.
Порекомендуйте материалы по самостоятельному погружению в ИИ?
Если вы совсем новичок, то лучше начать с изучения Python. Быстрый способ для этого, как я видел на примере других новичков – это сайт PythonTutor.ru. Там надо изучить теорию и порешать задачи – хотя бы процентов 70. Задачи могут показаться сложными, если вы совсем не программировали до этого.
Следующий шаг – язык запросов SQL, и здесь поможет сайт SQL-EX.ru: там есть упражнения по SQL. Они организованы по этапам: обучающий этап, этап для получения рейтинга – можно занять определенное место в рейтинге. Здесь вы научитесь работать с базами данных. Параллельно там есть обучающие материалы от автора Моисеенко, и их довольно легко изучить.
Потом потребуется изучить само машинное обучение. Различные алгоритмы, начиная с линейной регрессии, логистической регрессии, вплоть до градиентного бустинга. Здесь очень много материалов. Потом можно перейти к нейронным сетям – для компьютерного зрения, для NLP; вы изучите сверточные, рекуррентные нейронные сети, и самые современные – трансформеры, Берт и т.д.
Расскажу про развитие ИИ. Если посмотреть на историю этого развития до 2010, то она достаточно скудна: были, конечно, некоторые великие свершения в ИИ и в смежных областях – в больших данных, например, и были готовы многие математические алгоритмы. Но для ИИ было недостаточно вычислительной мощности и данных. Начиная с 2010 года – скорее, с 2012 – пошел бурный рост ИИ. В 2012 году на одном из соревнований нейросеть победила классические алгоритмы машинного зрения и научилась распознавать около 1000 классов изображений.
После этого достижения появился большой отрыв от конкурентов, применявших классическое компьютерное зрение, и началось развитие искусственных нейронных сетей. Появились различные архитектуры сверточных сетей, и в компьютерном зрении случился прорыв. Раньше считалось, что для нейронной сети различить изображение кошки и собаки – это очень сложная вещь, но в 2012 году нейросети научились распознавать, классифицировать изображения гораздо быстрее и точнее человека.
Сейчас компьютерное зрение достигло больших успехов. Параллельно развивается обработка естественного языка – NLP. С появлением модели GPT-3, которые создала компания OpenAI пару месяцев назад, нейросеть научилась генерировать текст (а также музыку и другие последовательности). Это один из важных шагов в NLP – скорее всего, в этом десятилетии она достигнет расцвета. Появятся чат-боты, которые смогут полноценно поддерживать диалог с человеком.
SQL и Python немного. После курсов по data science, без опыта, можно сразу устроиться data scientist, или сначала надо поработать аналитиком БД?
Сейчас попасть в data science сложнее, чем 5 лет назад. Тогда можно было принять участие в каком-нибудь конкурсе на Kaggle и занять место – не обязательно самое первое, например, в первых 10% — в каком-нибудь интересном соревновании, не обучающего уровня. После этого можно было уже ходить по компаниям, отвечать на несложные вопросы по машинному обучению, и такого человека могли взять. Специалистов было мало.
Сейчас все гораздо сложнее, поэтому иногда не получается сразу после того, как вы изучили машинное обучение и математику, попасть на вакансию своей мечты – специалиста по ИИ или data scientist.
Хороший путь – сначала поработать с данными, аналитиком баз данных или аналитиком данных. Факт в том, что вы должны научиться предварительно обрабатывать, чистить данные, применять статистику. Это могут быть технологии БД, Python в том числе. Когда вы наберетесь опыта, появится у вас бэкграунд, то вы сможете, используя свои знания по библиотекам data science в Python – Pandas, NumPy, SKLearn, устроиться на вакансию, связанную с ИИ или data science.
В чем отличия специалистов от ИИ от data scientists?
Нужен ли C++ специалисту по ИИ? Что посоветуете изучить для того, чтобы стать спецом по компьютерному зрению?
Сейчас в вакансиях западных компаний появилось разделение: помимо data scientist есть отдельные вакансии для специалистов по ИИ. Раньше подразумевалось, что data scientist – это человек, который занимается и анализом табличных данных, и задачами компьютерного зрения, и задачами NLP. Также существовала вакансия аналитика данных – она оплачивалась меньше, хотя и была также довольно престижной; такой человек должен был анализировать данные, но не слишком углубляться в ИИ, связанный с речью, текстом и изображениями, работая в основном с табличными данными. Затем произошло смешение вакансий: в Долине всех аналитиков данных стали называть data scientist, включая и тех, кто работает только с табличными данными, и тех, кто работает с NLP и компьютерным зрением. И одновременно, чуть позже, начали выделять отдельно специалиста по ИИ. В российских компаниях обычно такого разделениям нет, хотя иногда бывают специализированные вакансии – например, «инженер NLP/компьютерного зрения». Data scientist’у желательно понемногу уметь все.
Насчет С++: самый основной – это Python. То есть, если вы работаете специалистом по ИИ, вы должны использовать TensorFLow, Keras или PyTorch – он сейчас на первом месте. Но если вы пишете более низкоуровневые программы – например, если вакансия связана с робомобилями, то часто будет требоваться код на C++. Python не всегда быстро работает. Библиотеки для машинного обучения обычно написаны на C++, но иногда нужно всю программу написать на C++: помимо самих моделей может работать логика (if-else и т.д.), и на С++ это работает быстрее. Конечно, сразу приходить на такую вакансию сложно, и лучше сперва поработать на такой, где будет достаточно Python – например, там, где идет аналитика соцсетей с анализом изображений, без потребности в быстрой обработке.
Для того, чтобы стать спецом, надо научиться работать с библиотеками для нейронных сетей, изучить библиотеку OpenCV для Python – она также есть для C++. Так вы получите инструментарий. Еще желательно уметь работать с библиотекой NumPy, понимать саму математику анализа изображений – то есть, разбираться в линейной алгебре и матанализе, также – знать архитектуру нейронных сетей. И так далее.
Почему на собеседованиях в ML задают вопросы о том, как разруливать конфликты в hash-таблице?
Почему это – маркер при приеме на работу, если это можно загуглить по ходу?
Не в каждой вакансии это спрашивают. Если вы идете на аналитику табличных данных, то вряд ли у вас это спросят. Точно спросят, если вы претендуете на место ML-инженера: то есть, вы не просто создаете модели ML, вы их еще и внедряете, и вам надо знать алгоритмы и структуры данных. А если вы разрабатываете что-то наподобие робомобиля, то – тем более: там придется писать код высокого и низкого уровня, и это знание обязательно. А иногда такое знание требуется и в анализе табличных данных – допустим, вы пишете модуль для этого на C++.
Если вы пока не готовы на такие вакансии претендовать, можно пройти побольше собеседований. Допустим, если вы пойдете устраиваться data scientist’ом в банк, то там подобных вопросов будет меньше.
Пишу на Python 10 лет, но без высшего образования. Насколько сложно входить в сферу ИИ без вышмата?
Высшая математика нужна. Придется пройти курсы или изучить литературу, и это будет долгий процесс. Вам будет нужна подготовка по линейной алгебре, математическому анализу, теории вероятности и математической статистике. Обычной школьной программы явно не хватит для того, чтобы заниматься ИИ; конечно, программы бывают разные – в некоторых школах и в 10-м классе проходятся темы из ВУЗов, но такое редко бывает.
Pandas, SKLearn, Catboost, Seaborn, результаты в тренировочных соревнованиях Kaggle – 3% и 13%. Нужно ли погружаться в DL, или уже можно искать работу?
По библиотекам уже все хорошо; у вас уже есть Pandas – библиотека для работы с табличными данными, и SKLearn – модели машинного обучения, и Catboost – градиентный бустинг, и Seaborn – для визуализации. Результаты 3% и 13% — значит, если это не учебные соревнования, то с такими результатами у вас уже должна быть какая-то медаль.
Deep Learning не всегда нужен. Вы можете уже пробовать искать работу, я думаю. Но, если вам нужна именно работа с DL, то нужно еще поучить нейронные сети.
Какой базовый набор книг нужно прочесть?
Я собираюсь показать свои книги в конце стрима. Я выбрал базовый набор, ничего особенно продвинутого.
Насколько сейчас востребованы эти профессии? Будет ли много вакансий через 2 года?
Если вспомнить 2015-16 годы – тогда, например, на Headhunter было не больше 5-10 вакансий data scientist. То есть, был практически пустой рынок. Конечно, потом было переименование аналитиков в data scientist, но этого тоже было немного.
Сейчас одномоментно требуется несколько сотен, если смотреть по тому же сайту. Говорят, есть вакансии, которых там нет. Например, на ODS – OpenDataScience – если посмотреть, есть отдельный раздел вакансий. В целом, пока вакансии не кончаются – я думаю, через 2 года их будет только больше. Не только крупные компании этим занимаются: есть стартапы, мелкие компании; data scientist’ы сейчас требуются и в госучреждениях – например, в разных муниципальных департаментах, в налоговой службе и так далее.
В какой отрасли ИИ наиболее востребован?
Самое простое применение ИИ, где его явное применение может автоматизировать большое количество умственной работы специалистов – это финансовая сфера. Есть огромное количество банков. Каждому из них нужно, например, оценивать кредитоспособность заемщиков – то есть, определять по различных признакам, стоит ли выдавать кредит, не переоценивает ли человек свои силы и сможет ли вернуть кредит. Это самое очевидное использование ИИ.
Потом маркетинг, построение рекламных кампаний: то есть, когда нужно предсказывать, посмотрит ли человек рекламу (в Интернете, на ТВ и т.д.). Это тоже развитое направление, его невозможно не автоматизировать с помощью ИИ. Плюс, сейчас развивается роботизация: есть не только промышленные, но и бытовые роботы – робопылесосы и другие принадлежности для дома, которые тоже кто-то разрабатывает. Или различные приложения для смартфона – в общем, отраслей много, начиная от промышленности, медицины, ритейла, финансов, маркетинга и заканчивая развлечениями. Например, в играх тоже можно применить ИИ.
Сто ценится больше при приеме на работу в data science: знание математики, понимание работы конкретных алгоритмов, опыт работы?
За плечами техническая магистратура и год работы аналитиком данных в консалтинге.
У вас хороший бэкграунд – технический вуз, год работы аналитиком данных. Если вы уже изучили технологии и умеете программировать, то попасть в data science легко. Если вы работали а анализе БД и знаете SQL – это большой плюс, а если прибавить программирование и машинное обучение – это очень хороший набор.
Расскажу о том, как я строю модели машинного обучения на работе. Компания, в которой я работаю – это Dentsu Aegis, очень известная компания, особенно среди тех, кто работает в маркетинге. Это коммуникационная группа, входящая в топ-5 в мире; ее штаб находится в Токио, есть офисы в 145 странах. Российский филиал – Dentsu Aegis Network Russia. В России работает 25 лет и выступает пионером медиа-инноваций.
Я расскажу про тот участок, за который отвечаю как data scientist. Это как раз то применение, о котором я рассказывал как о наиболее очевидном в практическом применении. ИИ в маркетинге помогает автоматизировать многие задачи специалистов, и одна из них – прогнозирование просмотра различных видов контента различными целевыми аудиториями. Я расскажу подробнее про одну из своих непосредственных задач – прогнозирование телесмотрения.
Аудиторий может быть несколько сотен, и для того, чтобы их прогнозировать вручную, требовалась бы работа десятков специалистов. Это непомерно. Очень большое количество данных – до миллиардов строк в таблицах. Надо заботиться не только о том, чтобы построить модель машинного обучения, но и о том, чтобы она быстро работала. Для такой работа надо хорошо знать реляционные и нереляционные БД, работать с Linux, иметь навыки devops и вообще разбираться в архитектуре приложения, в IT-инфраструктуре компании, хорошо знать Python, возможно – C++.
Когда мы строим прогноз телепросмотров, мы применяем современные методы машинного обучения. Для табличных данных это градиентный бустинг и случайный лес. Если анализируется текст, мы применяем нейронные сети; помимо них – тематическое моделирование, TF-IDF и другие распространенные методы NLP.
Мы применяем градиентный бустинг, потому что, если мы прогнозируем с использованием табличных данных, то по работе с такими данными градиентный бустинг опережает все известные алгоритмы. В Kaggle, начиная с 2018 года, все основные достижения в соревнованиях с использованием табличных данных достигались именно с помощью градиентного бустинга. Большинство кегглеров тогда перешло на XGBoost – это была первая известная библиотека для градиентного бустинга, а позже многие освоили LightGBM от Microsoft или CatBoost от Yandex. Для задачи прогноза просмотров телепередач также хорошо подходит применение временных рядов, но такие методы не всегда хорошо работают – периодически появляются неожиданные события, на которые нужно вовремя реагировать или предвосхищать. Иногда встречаются большие аномальные периоды – от нескольких дней до месяцев: например, ЧМ по футболу в 2018 году сильно повлиял на просмотры. Карантин тоже стал аномальным периодом: люди начали проводить больше времени дома и больше смотреть ТВ. Это тоже надо как-то учитывать, предвосхищать. Вообще, этот период – это своеобразный вызов для машинного обучения и ИИ, потому что нужно постоянно осуществлять мониторинг моделей и контролировать их, чтобы они работали корректно. Помимо аномальных периодов на прогноз оказывают влияние праздники, погодные условия, изменения трендов в просмотрах конкретных передач и каналов. В итоге модели получаются достаточно сложными, потому что надо учесть все возможные варианты, учесть или предвосхитить аномалии и отклонения.
Естественно, модели не предоставлены сами себе – постоянно идет тестирование, тонкая настройка, мониторинг. Но не только модели важны: еще один важный этап – это создание признаков. Во-первых, это признаки, связанные со временем показа: время суток, день недели, сезон и т.д. Во-вторых, это признаки, связанные с контентом. При этом надо понимать, что, если передача идет ночью, то, какой бы ни был интересный контент, просмотров не будет больше, чем в праймтайм. Важность признаков может меняться, но разные аудитории выбирают разный контент. Это может зависеть от пола, возраста, социального положения.
Один из самых объемных по времени этапов работы с данными – это feature engineering: обработка или создание признаков. Для этой части data science нужен большой опыт: заранее известных рецептов либо нет, либо они слишком просты, и способы подготовки признаков приходится придумывать на ходу.
Иногда в данных встречаются курьезы: допустим, зритель включает ТВ вечером и засыпает. Получается так, как будто он всю ночь смотрел передачи. Это один из примеров шума в данных – вроде бы данные точные, а вроде бы и нет, и это нужно учиться угадывать, хотя это и сложно. Кроме того, ночью обычно показывается очень мало рекламы.
Когда мы строим модель, надо не просто сделать так, чтобы она работала, но и обеспечить тестирование и мониторинг. Для этого нам нужны метрики. Так как у нас задача регрессии, наш набор метрик будет отличаться от набора для классификации, например. Это среднеквадратичная ошибка и коэффициент детерминации – они все очень важны. Также есть метрики, которое приходится создавать самостоятельно для решения определенной бизнес-задачи – например, задачи оптимизации расходов на рекламную кампанию. В таком случае нам надо предсказывать не только телевизионный рейтинг, но и охват рекламной кампании; у нас работает не только машинное обучение, но и сложные статистические и эконометрические методы. Это тот случай, когда знаний машинного обучения оказывается недостаточно: здесь нужен матанализ, линейная алгебра, методы математической оптимизации. В отличие от обычных задач машинного обучения – регрессии, классификации, кластеризации – здесь приходится придумывать собственные методы, и одного программирования не хватит.
Хочу упомянуть программу Высшей школы экономики – «Коммуникации, основанные на данных». Приходилось по ходу работы помогать студентам на этой программе, они занимаются маркетингом и предметами, связанными с машинным обучением. Собственно, для чего машинное обучение и data science маркетологу? Раньше не предполагалось, что специалист такой области будет программировать и делать сложные модели, но сейчас это – навык, который дает преимущества на рынке труда. Если специалист, дополнительно к своей профессии, овладел data science, то он получает возможность либо поменять работу и стать data scientist’ом, либо продолжить развиваться в своей предметной сфере, но с большими конкурентными преимуществами. Знаток машинного обучения сможет делать более точные прогнозы, но для этого потребуется многое изучить.
Стоит ли обратить внимание на курс Data Science МФТИ/Yandex, или, возможно, посмотреть в сторону Udacity?
Я так понимаю, вы имеете ввиду курс от МФТИ/Yandex на Coursera. Udacity – это отдельная площадка для обучения; там не только data science, хотя для ИИ и data science и предназначена довольно большая часть курсов. Я рекомендую не зацикливаться на одном ресурсе, а попробовать пройти несколько курсов. Курсы не совпадают на 100%, вы всегда можете найти что-то новое, чего раньше не знали. Также новый курс можно использовать для повторения. Например, курсы на GeekBrains на наших факультетах ИИ, data engineering и аналитики big data. Так как я являюсь их деканом и преподавателем, я могу более подробно рассказать о них.
Курсы объединяются в факультеты – например, на факультете искусственного интеллекта есть 17 курсов, плюс 8 дополнительных. Почти в каждом курсе есть практическая работа как финальный проект. Таким образом, у обучающегося на нем специалиста появляется практика. Я рекомендую не просто изучать теорию, а делать проекты: хорошие практические умения приблизят вас к прохождению собеседований и началу карьеры.
Я сам обучался некоторое время назад на Udacity – проходил курс по робомобилям, очень длинный, запланировано было 9 месяцев, но курс длился около года. Действительно узнал много нового, впечатления от платформы положительные. Но, конечно, все курсы там преподаются на английском.
Как учесть аномалии по временным рядам и можно ли их вырезать?
Неприятный процесс. Для этого нет готового рецепта – нужно огромное количество тестов. Точнее, есть готовые модели, но они рассчитаны только на обнаружение аномалий в прошлом, а их нужно не только обнаруживать, но и предвосхищать.
Для таких случаев есть различные наработки, но их приходится создавать самостоятельно. Самое важное – определить, что будет в будущем: например, увеличение телесмотрения по определенным каналам и передачам. Когда проходит время, эти данные попадают в прошлое — к тренировочным данным, и их нужно обработать правильным образом.
Если даже в будущем не будет аномалий, прошлые аномалии могут повлиять на ваш прогноз. Здесь есть много методов; самый простой – удаление аномальных данных, но, если их много, это может привести к выпадению целого периода временного ряда из рассмотрения, поэтому такой способ не всегда подходит.
Каким образом устроиться на работу без подтвержденного опыта?
Хороший опыт – это ваши проекты. То есть, если вы не просто учите теорию, а сразу делаете проект — желательно, под руководством ментора (человека с опытом в data science и ИИ) – то вы знаете, что вы делаете. Вы не просто умеете применять теорию, или применять модель к данным, найденным в интернете, а решать практические задачи. При работе над такими проектами вы получаете знания, которые нельзя получить из книг и курсов, и помощь ментора здесь неоценима.
Поговорим о книгах – я приготовил небольшую стопку.
Если вы работаете в data science, то, скорее всего, вам придется работать в среде Linux. При этом вы не будете администратором – то есть, слишком глубокие знания вам не понадобятся – но уверенное знание этой платформы для простых административных задач (планирование запуска скриптов или распоряжение ресурсами ОС) будет обязательно. Здесь поможет книга «LINUX – карманный справочник» Скотта Граннемана. Его можно изучить за пару дней.
По теории вероятностей я бы порекомендовал книгу Г. Г. Битнера «Теория вероятностей» — в ней есть и теория, и задачи. Теория вероятностей пригодится вам и на собеседовании, и в работе.
Любому, кто работает в IT, требуется минимальный набор знаний и навыков. Соответственно, книга «Теоретический минимум по Computer Science – все, что нужно знать программисту и разработчику» (Фило Владстон Феррейра) — это ликбез по computer science.
Если вы будете погружаться в программирование и низкоуровневые разработки, то вам будут нужны алгоритмы. В книге «Алгоритмы для начинающих – теория и практика для разработчика» Паноса Луридаса даются алгоритмы без привязки к конкретному языку. Есть более объемная книга для C++ — «Алгоритмы на C++» Роберта Седжвика; она полезна, если вы хотите исключить какие-то высокоуровневые операции, которые есть в Python, и создавать алгоритмы с нуля.
Если вы хотите получить общее представление о верхнеуровневой работе специалиста по data science, то вам подойдет книга «Работа с данными в любой сфере – как выйти на новый уровень, используя аналитику» Кирилла Еременко. Здесь нет программирования. Но, если вы уже специалист, она пригодится вам только в том случае, если вы еще не работали с данными.
Далее: «Data Science. Наука о данных с нуля» Джоэля Граса – тоже полезная книга. От того же издания – «Практическая статистика для специалистов Data Science. 50 важнейших понятий» Питера Брюса и Эндрю Брюса. Здесь тоже можно изучить статистику.
Если вы будете работать с данными в Python и использовать библиотеку Pandas, то вам обязательно нужна «Python и анализ данных» Уэса Маккини – автора самой библиотеки Pandas.
По машинному обучению я рекомендую две книги: «Машинное обучение» Петера Флаха и «Python и машинное обучение» Себастьяна Рашки.
Для глубокого обучения есть книга «Глубокое обучение на Python» Франсуа Шолле, там можно изучить нейронные сети для задач NLP и компьютерного зрения. Конкретно по NLP есть «Прикладной анализ текстовых данных на Python» — Бенджамин Бенгфорд, Ребекка Белбро и Тони Охеда.
Если хотите изучить TensorFlow для глубокого обучения – есть одноименная книга Бхарата Рамсундара и Реза Босаг Заде.
Также есть книга, в которой просто и понятно объясняются принципы работы нейронных сетей – книга Эндрю Траска «Грокаем глубокое обучение». Есть также «Грокаем алгоритмы» — там хорошо объясняются алгоритмы, которые могут пригодиться на собеседовании и на практике.
Что вы спрашиваете на собеседованиях?
Есть небольшой сборник вопросов. Есть вопросы по классическому машинному обучению – специалист, который устраивается в сферу data science и ИИ, должен знать, как работают классические модели машинного обучения: линейная, логистическая регрессия, градиентный спуск, регуляризация L1-L2. Нужно, чтобы человек рассказал про принцип работы деревьев решений, про критерий информативности для задач классификации и регрессии; чтобы человек знал, как работает случайный лес, градиентный бустинг. Очень хорошо, если он знает отличия моделей градиентного бустинга – Catboost, LightGBM, XGBoost – то есть, чем отличаются эти библиотеки, как в них реализован градиентный бустинг. Также нужно, чтобы человек владел библиотеками для машинного обучения – Pandas, NumPy, SKLearn. Если специалисту нужно будет работать с нейронными сетями, с компьютерным зрением, с NLP, то будут вопросы по этим темам.
Вопросов может быть очень много. Если человек хорошо отвечает, то интересно бывает расспросить его о каких-то его проектах – если человек что-то сделал, у собеседующего сразу появляется много вопросов, связанных именно с проектами. Если у вас на GitHub есть личные проекты, или учебные проекты с курсов – будет очень хорошо, если вы сумеете подробно рассказать про технологии и алгоритмы, которые вы применяли.
Помимо этого, на собеседовании можно спрашивать разные базовые вопросы. Обычно, если человек хорошо отвечает на них – скорее всего, хороший специалист. Конечно, важно, чтобы он сумел выполнить тестовое задание. Теория – это одно, а вот то, как человек сможет решить практическую задачу, запрограммировать ее, какой он напишет код – это тоже важно. Если человек знает всю теорию, но присылает код, в котором не используется OP, когда это нужно – значит, он не знает, как правильно применять теорию. Кроме того, конечно, сам код должен быть читабельным и комментированным.
Я хотел еще рассказать про квантовые вычисления, квантовое машинное обучение – это еще одна моя область интересов, но сегодня уже не успею.