Ранняя история сжатого цифрового аудио довольно необычна. Форматы MP2 и MP3 разрабатывались крупными компаниями и исследовательскими институтами для своих целей, в которые распространение музыки во всемирной сети Интернет никак не входило. Но случилось так, что результат их трудов известен нам сегодня именно в этом качестве.
Они внесли основной вклад в рождение MP3: компания Philips (Голландия), Центр исследования телевещания и телекоммуникации (CCETT, Франция), Институт радиовещательной техники (IRT, Германия), Институт интегральных схем им. Фраунгофера (Fraunhofer IIS, Германия), Германский аэрокосмический центр (DLR)
То, что разработки Фраунгофер ИИС сотоварищи первоначально предназначались вовсе не для хранения и обмена музыки, быстро проявилось в ряде неудобств работы с первыми аудиоформатами. Ведь теперь MP3-файлам пришлось взаимодействовать и с человеком, а не только с программой и оборудованием. А к этой задаче формат был приспособлен слабо.
Музыка для человека – это не просто массив данных. Это произведения искусства, имеющие собственные имена, исполненные людьми и коллективами со своими именами, объединенные в альбомы, сборники, также не безымянные. Связана с ней и другая информация, которую многие хотят знать и помнить: год выпуска, например, или музыкальный жанр. В эпоху носителей все это писалось на обложке и в буклете пластинки, CD или кассеты. Но компьютерный файл в обложку не обернешь! Часть информации можно включить в состав имени файла, но мы помним, что в середине 90-х длинные имена файлов в мире IBM-совместимых ПК только отвоевывали себе место под солнцем. А в восьми символах не очень-то и разгуляешься.
Буклет аудио-CD: подробная информация о композициях, слова, фотографии (для примера взят буклет болгарского исполнителя «Авеню»)
Решение напрашивалось простое – включить всю дополнительную информацию в состав самого файла. Это не было чем-то новым: метаданные, т.е. вспомогательные данные, дополняющие и поясняющие основные, использовались человечеством на протяжении тысячелетий. Подпись художника на картине – это те же метаданные.
Метаданные являются частью файла, их можно при желании увидеть с помощью самых простейших средств, к примеру, Блокнота
Надеяться, что решением этой задачи займутся Philips или IRT, не приходилось – им никакого дела не было до неудобств немногочисленных тогда пользователей MP3. Первые метаданные появились в MP3-файлах «снизу», руками пользователей-энтузиастов. Они получили название «тегов» (tag, англ. «ярлык» или «метка») – популярное в компьютерном мире короткое обозначение метаданных.
Функции тегов в чем-то пересекаются с функциями ярлыков
С тех пор прошло уже больше 11 лет. Сегодня без метаданных не может обойтись ни один аудиоформат. Они стали куда большим, чем простая замена CD-буклета. Медиабиблиотеки, системы навигации плееров и сотовых телефонов полагаются на теги как основной элемент построения своих баз данных.
Естественно, современные теги мало похожи на первый примитивный формат метаданных, использованный в далеком 1996 году. Концепция тегов впитала в себя множество идей, связанных с повышением гибкости и информационной емкости системы. Кроме того, разновидностей самих компрессированных аудиофайлов стало гораздо больше, и каждая из распространенных имеет свою теговую систему.
Но базовые принципы остались неизменными. Тег – это информация, содержащаяся в мультимедийном файле (пока что чаще в аудиофайле), этот файл поясняющая, комментирующая и дополняющая. Важной особенностью тега является его структурность: информация в нем не свалена в одну кучу, но четко разбита на категории, чтобы с ней было удобно работать программам (проигрывателям, каталогизаторам). Ведь мало кто из пользователей сам полезет смотреть теги внутри файла – для просмотра метаданных и на персональном компьютере, и уж тем более на портативном устройстве гораздо удобнее использовать специализированное ПО.
Одна из многочисленных программ для просмотра и редактирования тегов, Tag&Rename
Тег делится на категории по предметному признаку, для каждого понятия, описывающего файл, выделяется отдельная категория. По отдельности они также могут называться тегами, например, тег «исполнитель», тег «альбом». Таким образом, для метаданных отдельного файла допустимо именование и в единственном числе – «ID3v1 тег находится в начале файла» и во множественном – «Я заполнил теги только что сжатой песни».
В разных аудиоформатах структура тегов, название и маркировка категорий в них различна. Общим сегодня является то, что число категорий, на которые разбита информация в теге, стараются сделать достаточно большим, как говорится, на все случаи жизни. CD-буклету, чтобы вместить весь объем информации, способный храниться в современном теге, пришлось бы превратиться в многотомное издание. Правда, использование потенциальных возможностей современных тегов обычно очень далеко от 100%. И это, пожалуй, к лучшему – кому нужен тег, по объему превосходящий сами данные?
Большая советская энциклопедия может уместиться в 256 мегабайт, доступных для современных тегов, практически полностью
Современный тег может включать в себя много типов информации. Это и текст, и служебная информация в удобном для программ двоичном виде, и изображения. Четкая структура тегов позволяет хранить различные типы информации в разных категориях. Программы заранее знают, как им считывать информацию из той или иной категории, – как картинку, как текст или как-то еще.
В тегах можно найти самую различную информацию
Люди, имеющие опыт работы с базами данных, увидят в структуре тегов знакомые черты. Фактически тег медиафайла можно представить как строку в базе данных с определенным числом информационных ячеек. Это делает удобным построение на основе тегов систем управления базами данных, позволяющих пользователям быстро и легко находить свои песни и фильмы, даже если их количество в аудиовидеотеке исчисляется десятками тысяч.
Медиабиблиотека Windows Media Player (скриншот с сайта winsupersite.com)
Никто их, правда, не называет СУБД, чаще используется название медиабиблиотека. Windows Media Player и iTunes можно привести в пример как наиболее распространенных представителей подобного ПО. Схожую функциональность предлагает и внутреннее ПО многих плееров, Apple iPod, Sony Network Walkman, Creative Zen являются здесь яркими представителями.
Обычно теги можно разделить на две группы – служебные, о которых пользователю, по идее, и знать не нужно, и информационные. Служебные теги, наподобие различных уникальных идентификаторов, создаются для нужд ПО. Информационные содержат информацию, важную для пользователя, это всем известные исполнитель, альбом и т.п.
Практическое использование
Сегодня метаданные аудиофайлов имеют две основные сферы применения.
Первая сфера – предоставление информации. Из тегов пользователь может узнать о своей записи много нового. Метаданные выступают здесь в уже упомянутой роли замены CD-буклета.
Из нескольких наиболее распространенных тегов самый обширный список категорий, а следовательно, самую полную информацию дает ID3v2 тег, применяющийся, как правило, в MP3-файлах. Но другие типы тегов содержат в себе категории, которых этот формат лишен, следовательно, назвать ID3v2 идеальным все же нельзя.
А некоторые типы тегов и вовсе позволяют создавать практически неограниченное количество категорий, давая возможность довести информационную насыщенность тега до максимальной. Но в результате значительный груз забот ложится на плечи конечного пользователя.
В любом случае, все типы современных тегов в теории предоставляют широкие возможности пользователю. Встает вопрос: с чем же мы сталкиваемся на практике? Наиболее распространены такие ситуации:
Наиболее распространенные пути попадания сжатых аудиофайлов потребителю (использованы изображения с ergosign.de и ogoniok.com)
Вне зависимости от того, какой источник использовался, приходится констатировать, что то, что красиво звучит в спецификациях, увы, не столь впечатляюще в реальности. К сожалению, возможности метаданных в аудиофайлах не используются сегодня и наполовину. Да, теги наподобие «исполнитель», «альбом», «название» заполнены почти всегда даже в контрафактных треках. Номер трека в альбоме, год выпуска тоже попадаются. У честно купленных или сжатых с обращением к интернет-базам композиций попадается и Album Art. Но этим все обычно и ограничивается. Такие позиции, как темп, настроение, всевозможные ссылки, комментарии, слова песни в большинстве случаев остаются незаполненными даже в легально приобретенных файлах.
Advanced Tag Editor открыл WMA-файл, сжатый Window Media Player с audio-CD с обращением к Gracenote: большая часть тегов удручающе пусты
Тот же трек сжат с помощью iTunes – аналогичная картина
Также нередки противоречия между источниками, какую информацию вносить в тот или иной тег. Особенно это характерно для нелегального контента – здесь часты разночтения даже в таких пунктах, как название композиции или исполнителя. Если бы звукозаписывающие компании выпускали официальные образцы заполнения тегов выпускаемых композиций для всех пяти распространенных форматов, это могло бы серьезно помочь, но, к сожалению, этого не происходит. Приходится иметь дело с базами данных наподобие Gracenote, которые, хотя и сотрудничают с лейблами, предлагают довольно узкий ассортимент информации. К примеру, та же Gracenote начала ограниченно предлагать слова песен только с апреля 2007 года.
Все это серьезно снижает эффективность использования тегов. В программах наподобие Windows Media Player большая часть места, предлагаемого под информацию о проигрываемом треке, обычно остается незаполненным. Хотя нельзя сказать, чтобы такие проигрыватели пытались рассказать о песне так уж много: доступ к значительной части информации, которая может содержаться в тегах, возможен лишь через дебри меню.
Windows Media Player способен показать значительный объем информации о композиции во время проигрывания. К сожалению, в большинстве случаев все это место остается пустым.
Второе применение тегов – служебное. Программы – медиабиблиотеки – используют их как атрибуты при создании баз данных контента.
Теги как атрибуты в медиабиблиотеке iTunes
Многие современные медиапроигрыватели содержат функциональность медиабиблиотеки и используют простейшие механизмы СУБД в интерфейсе. Таким образом, в таких задачах, как поиск песен, составление различных списков композиций, теги используются самым интенсивным образом. Как пример использования подобного инструментария можно привести iTunes с его «умными» плей-листами, представляющими собой фактически сложные запросы к базе данных с использованием тегов как атрибутов.
Сложный запрос «умного» плей-листа iTunes поможет создать список проигрывания по вашему вкусу
В MP3-плеерах повышенной емкости базы данных на основе тегов используются еще с 1999 года.
Compaq/Hango Personal Jukebox – вероятно, первый MP3-плеер с базой данных на основе медиатегов (фото с сайта pc.watch.impress.co.jp)
Хотя существует альтернатива – стандартная файловая система с файлами и папками, базы на основе тегов пользуются все большей популярностью, особенно в продуктах, ориентированных на американский рынок.
iriver, Samsung, Creative, Sandisk – лишь некоторые из производителей, использующих базы данных по тегам в своих плеерах
Структура подобной базы данных обычно достаточно схожа у разных производителей. В качестве классифицирующих атрибутов обычно используются:
В основе музыкальной библиотеки iPod – метаданные (фото с сайта askdavetaylor.com)
Могут использоваться и некоторые другие категории, такие, как год выпуска, композитор. Кроме информации, входящей в теги, могут использоваться и данные из других источников, к примеру, базы данных медиабиблиотеки на ПК или плеере. В частности, отсюда могут браться атрибуты наподобие времени загрузки файла на плеер или количества проигрываний этого файла на ПК.
Потенциально теги являются очень хорошим источником атрибутов для базы медиаданных. В реальности же нас подстерегают все те же проблемы – для нормальной работы необходимо, чтобы все теги были проставлены четко, без расхождений, во всех файлах. В условиях, когда среднестатистический пользователь имеет в своей коллекции треки из самых разнообразных и не всегда легальных источников, это обычно недостижимо. И хотя существует немало программных продуктов, предназначенных для работы с тегами, этот самый пользователь едва ли возьмет на себя труд приведения всей своей коллекции в порядок. В результате работа с базами, основанными на тегах, получается далеко не такой комфортной, какой задумывалась. Одним из следствий этого является неувядающая популярность плееров, использующих в качестве структуры медиабиблиотеки стандартную файловую систему компьютера.
Будущее
Не приходится сомневаться, что роль медиаметаданных как важнейшего инструмента в мультимедиа-инфраструктуре будет только возрастать. Метаданные Microsoft Windows Media metadata и Apple iTunes tag уже являются тегами двойного назначения, применяемыми как для аудио, так и для видео. Медиатеги активно используются онлайн-сервисами, аудио, фото и видео. Большинство мультимедиа-устройств нового поколения используют базы медиаданных, построенные на основе тегов.
Всюду, где есть мультимедиа, мы видим теги или их родственников. Пример – категории видео на youtube.com
В будущем мы надеемся на дальнейшее развитие метаданных. Идеи open-source-тегов – сочетание богатого набора рекомендованных категорий и возможности создавать свои, произвольные – заслуживают использования и в метаданных «первой тройки»: MP3, Microsoft и Apple. Желательно появление удобных и функциональных и при этом доступных для рядового пользователя средств редактирования тегов, с лучшей и более функциональной интеграцией с базами данных в Интернете. Ожидаем увидеть больше мощных и гибких инструментов, основанных на метаданных, наподобие тех же «умных» плей-листов, но использующих больший набор атрибутов, в том числе произвольных, и более удобных в использовании.
Важным вопросом является и стандартизация тегов. Хотя бы для трех наиболее распространенных форматов хотелось бы более активного участия в создании метаданных музыкальных лейблов и даже самих исполнителей. В их руках теги могут стать дополнительными инструментами для творчества, средствами для обратной связи с поклонниками, использоваться для анонсов и промоушена. Хотя злоупотребления последним и превращения тегов в рекламный носитель, конечно, хотелось бы избежать.
Такого вот в тегах лучше, чтобы было поменьше
Проигрыватели, как компьютерные, так и портативные, также не должны отставать. Было бы хорошо, если бы в будущем пользователь мог получать как можно более полную информацию о песне или аудиокниге во время ее прослушивания, причем в изящной и ненавязчивой манере. Не повредит здесь и сотрудничество с онлайн-энциклопедиями – для интересующихся теги могут стать мостиками в историю музыки и литературы.
Теги могут объединять развлекательные и познавательные ресурсы Интернета, как обычные, так и user-generated
Еще одна тенденция, менее радостная для наиболее технически подкованной аудитории, – падение информационной прозрачности в этой области. Производители резонно полагают, что новое поколение потребителей не хочет забивать себе головы такими понятиями, как теги и метаданные. Популярные программы Windows Media Player и iTunes организованы так, чтобы упоминать эти слова не было необходимости.
iTunes показывает информацию о композиции, не употребляя терминов «тег» и «метаданные»
Скорее всего, в будущем понятие тега окончательно уйдет в область технических терминов, понятных только специалисту. Обычные пользователи не будут задумываться, откуда же берется вся эта информация о музыкальной композиции или фильме, для них все это будет частью единого целого.
С одной стороны, для простой публики такой вариант, безусловно, будет удобнее, с другой – доступ к технической информации для более любознательных будет затруднен. А хотелось бы, чтобы производители не забывали об этой небольшой, но авторитетной части целевой аудитории, которая сама создала самые первые медиатеги и всегда будет помнить, что это такое и для чего они нужны.
Всякий файл обычно обзывается каким-нибудь словом, дабы из этого слова тотчас становилось ясно для чего он такой нужен и чего с ним делать. Но для некоторых файлов существуют не только название и само содержимое файла, но есть еще и так называемые метаданные. Это еще не содержимое, но уже и не название. Так вот ныне самый распостраненный аудиоформат mp3 имеет в себе систему тегов. В тегах описывается что это за музыка — как называется композиция, кем сыграна, в каком году, в каком жанре и в составе какого альбома значится и под каким номером. Говоря лаконичным языком самих mp3-тегов:
Кроме вышеперечисленных существуют и другие теги, кои однако используются очень реже и содержат не столь важные для классификации композиции данные, к примеру — композитор, автор слов, комментарий, номер диска, и прочая прочая. Вряд ли они кому то нужны, если конечно вы не фанатичный коллекционер музыки число песен у которого исчисляется в миллиардах. Первых шести перечисленных тегов достаточно для какой угодно классификации.
Язык системы тегов ID3
Музыкальные проигрыватели, как программные, так и аппаратные обычно пытаются считать данные о музыкальном треке именно из тегов файла чтобы представить вам проигрываемую композицию. А также если вам вздумается разыскать нужную песню — искаться она проигрывателем будет тоже по ним. Официальным языком система тегов именуется ID3 (IDentify an mp3), что намекает. Конкретней — ныне используется ID3v2 — то бишь стандарт метаданных второй версии.
Откуда берутся «крякозябры»?
Итак, почему же в некоторых песнях любимый проигрыватель вместо названий и/или исполнителей выдает «абракадабру»(«кракозябры», «китайскую грамоту», и.т.д)? Ответ прост. По той же самой причине, по коей мы имеем к себе в монитор «кракозябры» в любых других местах — битая кодировка.
Случается такое, когда русский текст в одной кодировке мы пытаемся прочитать в другой. Соответственно русские теги mp3 в музыкальных файлах и показываются криво. Потому что большинство музыки в сети, откуда мы ее качаем, имеет свои кириллические теги в кодировке, отличной от признанной стандартом UTF-8, то есть в кодировке windows — cp1251, koi8-r, или еще какой чертовщине.
К примеру, с такой проблемой пользователь лицом прям сталкивается когда хочет послушать добытую в интернетах музыку в linux-системах, Ubuntu скажем. Я и сам с этим сталкиваюсь постоянно, являясь юзером оной — каждый скачанный альбом с русскими тегами необходимо перекодировать, дабы любимый мною проигрыватель Rhythmbox мог красиво показывать что он за музыку играет и, что более важно, мог мне находить в фонотеке музыку, которую я пожелаю.
Более того, если 98% музыки русскоязычных исполнителей идет с кривыми тегами, то примерно половина из них скачивается еще и с названиями файлов в кривой кодировке. Что тоже причиняет некоторые неудобства. Но излечимо, причем легко.
Еще один момент — бывает что mp3-файлы совсем не имеют тегов. А хотелось бы. Все обозначенные в данной статье проблемы запросто решаемы. Существуют редакторы и утилиты для изменения и перекодировки тегов. И о простых и удобных способах проведения операций по приведению русских тегов mp3-файлов в вашей фонотеке в порядок, о редакторах, утилитах и прочих программах для работы с тегами, будет поведано в другой статье.
Admin
IT-cпециалист с высшим техническим образованием и 8-летним опытом системного администрирования. Подробней об авторе и контакты. Даю бесплатные консультации по информационным технологиям, работе компьютеров и других устройств, программ, сервисов и сайтов в интернете. Если вы не нашли нужную информацию, то задайте свой вопрос!
Однажды мне понадобилось решить простенькую (как мне тогда казалось) задачу – в PHP-скрипте узнать длительность mp3-файла. Я слышал о ID3 тегах и сразу подумал, что информация о длительности хранится либо в тегах, либо в заголовках mp3-файла. Поверхностные поиски в интернете показали что за пару-тройку минут решить эту задачу не получится. Поскольку от природы я довольно любопытен а время не поджимало — решил не использовать сторонние инструменты а разобраться в одном из самых популярных форматов самостоятельно.
Если Вам интересно, что там внутри – добро пожаловать под кат (трафик).
В данной статье мы не будем подробно останавливаться на извлечении ID3v2 тегов – это можно вынести в отдельную статью, так как там есть различные нюансы. А так же на фрагментах заголовков, которые практически не используются в настоящее время (например, часть Emphasis заголовка mp3-фрейма). Так же мы не рассматриваем структуру самих аудиоданных — тех самых, которые слышим из колонок.
ID3 теги
ID3 (от англ. Identify a MP3) — формат метаданных, наиболее часто используемый в звуковых файлах в формате MP3. ID3 подпись содержит данные о названии трека, альбома, имени исполнителя и т. д., которые используются мультимедиапроигрывателями и другими программами, а также аппаратными проигрывателями, для отображения информации о файле и автоматического упорядочивания аудиоколлекции.
Существует две абсолютно разных версии ID3-данных: ID3v1 и ID3v2.
ID3v1 – имеет фиксированный размер в 128 байт, которые дописываются в конец mp3-файла. Там можно хранить: название трека, исполнитель, альбом, год, комментарий, номер трека (для версии 1.1) и жанр.
Довольно быстро всем стало понятно, что 128 байт – очень уж небольшое место для хранения таких данных. И поэтому, со временем, появилась и успешно используется вторая версия данных – ID3v2. В отличии от первой версии, теги v2 имеют переменную длину и размещаются в начале файла, что позволяет поддерживать потоковое воспроизведение. (Формат ID3v2.4 позволяет так же хранить данные и в конце файла). Данные ID3v2 состоят из заголовка и последующих фреймов ID3v2. Например, в версии ID3v2.3 существует более 70 типов фреймов.
В данном случае вместе с заголовком ID3v2 (10 байт) – данные ID3v2 занимают 1024 байта.
После ID3v2-заголовка идут собственно теги. Подробный разбор чтения тегов ID3v2, как сказано выше, я решил не включать в эту статью.
Теперь у нас есть информация о наличии и длине тегов ID3 и мы можем приступать в разбору mp3-фрейма и понять-таки – где же хранится длительность. А заодно понять и всё остальное.
MP3-фрейм
Весь mp3-файл состоит из фреймов, которые можно извлекать только последовательно. Фрейм содержит в себе заголовок и аудио-данные. Поскольку мы не ставим себе целью написать прошивку для магнитофона – нас интересует именно заголовок фрейма.
О нем подробнее (куча таблиц и сухой информации)
Размер заголовка – 4 байта.
Режимы сжатия данных или какой бывает битрейт
Существует 3 режима сжатия данных:
CBR (constant bitrate) – постоянный битрейт. Не меняется на всем протяжении трека.
VBR (variable bitrate) – переменный битрейт. При этом сжатии битрейт постоянно меняется на протяжении трека.
ABR (average bitrate) – усредненный битрейт. Это понятие используется только при кодировании файла. На «выходе» получается файл с VBR.
Длительность = Размер аудиоданных / Битрейт (в битах!) * 8
Например, файл имеет размер 350670 байт. Есть ID3v1 теги (128 байт) и ID3v2 теги (1024 байта). Битрейт = 96. Следовательно размер аудиоданных равен 350670 – 128 – 1024 = 349518 байт. Длительность = 349518 / 96000 * 8 = 29,1265 = 29 секунд
Необходимо пояснить – как определить режим сжатия. Всё просто. Если файл сжат с VBR – то добавляется VBR-заголовок. По его наличию мы и можем понять, что используется переменный битрейт. Есть два вида заголовков: Xing и VBRI. Xing размещается со смещением от начала первого mp3-фрейма в позиции, согласно таблице:
Например: у нас ID3v2 тег занимает 1024 байта. Если наш mp3-файл имеет режим канала «Стерео» — то заголовок VBR Xing будет начинаться со смещения 1024 + 32 = 1056 байт.
Заголовок VBRI всегда размещается со смещением +32 байта от начала первого mp3-фрейма.
Первые четыре байта в обоих заголовках содержат маркер ‘Xing’ или ‘Info’ для Xing. И ‘VBRI’ для VBRI.
Эти VBR заголовки имеют переменную длину и содержат различную информацию о кодировании файла. Подробнее о структуре заголовков VBR (и не только) можно почитать, например, тут.
Я же расскажу только о том, что нас интересует в данный момент. А именно – количество фреймов (Number of Frames). Это число длиной 4 байта. В заголовке Xing оно содержится по смещению +8 байт от начала заголовка. В VBRI +14 байт от начала заголовка.
Используя таблицу Сэмплов на фрейм (Sampler Per Frame) мы можем получить длительность mp3-файла, закодированного с переменным битрейтом.
Длительность = Количество фреймов * Сэмплов на фрейм / Частоту дискретизации
Например: из заголовка VBRI получили количество фреймов 1118, сэмплов на фрейм = 1152. Частота дискретизации = 44100. Длительность = 1118 * 1152 / 44100 = 29.204 = 29 секунд.
На этом на сегодня всё. Если был кому-то полезен — спасибо.
Для тех, кто захочет немедленно поковырять внутренности mp3 — Тут лежат скрипт на php, которые я писал для себя одновременно с данной статьей и четыре небольших mp3-файла для теста.
