Фреймворк GStreamer. Руководство разработчика плагинов. Типы и свойства потоков данных

Оригинал: GStreamer Plugin Writer's Guide
Авторы: Richard John Boulton, Erik Walthinsen, Steve Baker, Leif Johnson, Ronald S. Bultje, Stefan Kost, Tim-Philipp Muller, Wim Taymans
Дата публикации: 19 июля 2014 г.
Перевод: А.Панин
Дата перевода: 28 июля 2014 г.

Глава 16. Типы и свойства потоков данных

Существует очень большой набор возможных типов потоков данных, передаваемых между элементами. Разумеется, каждый новый зарегистрированный элемент может использовать новый формат данных (хотя, в том случае, если как минимум еще один элемент не сможет обрабатывать этот формат, он скорее всего, будет бесполезным, так как этот элемент не удастся связать ни с одним другим элементом).

Для того, чтобы типы потоков данных могли успешно использоваться, а также для того, чтобы с ними работали такие системы, как система автоматической подгрузки плагинов, чрезвычайно важно, чтобы все элементы достигли соглашения об используемых описаниях типов потоков данных, а также о том, какие свойства требуются для описания каждого из типов. Фреймворк GStreamer просто предоставляет возможность описания типов потоков данных и их параметров, но не ограничивает назначение этих типов и параметров, а также не устанавливает стандартов, описывающих правила создания новых типов потоков данных. Такие вещи должны устанавливаться на уровне политик создания типов потоков данных, а не ограничиваться средствами технических систем.

16.1. Создание простого формата потока данных для тестирования

Если вам потребуется создать новый формат мультимедийных данных, который не был ранее описан в Списке объявленных типов потоков данных, вам придется ознакомиться с некоторыми общими правилами именования типов потоков данных, описания их свойств, а также другими правилами. Тип мультимедийных данных в идеальном случае должен быть эквивалентен типу MIME, описанному организацией IANA; в случае отсутствия существующего типа он должен быть записан в форме type/x-name, где строка type обозначает тип данных, передающихся в рассматриваемом потоке (audio, video, ...), а name является специфичным для данного типа мультимедийного потока именем. Типы мультимедийных данных, представляющие аудио- и видеоданные, должны по возможности поддерживать стандартные свойства аудио/видео (обратитесь к списку для ознакомления с подробностями), а также могут использовать свои собственные свойства. Для получения общего представления о том, какие свойства мы считаем полезными, обратитесь (снова) к упомянутому списку.

Потратьте ваше время на формирование корректного набора свойств для вашего нового типа данных. Не следует торопиться. Также неплохой идеей является проведение экспериментов со свойствами. Основываясь на опыте, можно сказать, что в теории новые типы данных могут казаться полезными, но в любом случае, необходимо использовать их на практике для того, чтобы убедиться в том, что они выполняют свои задачи. Убедитесь в том, что имена ваших свойств не конфликтуют с именами аналогичных свойств других типов потоков данных. В том случае, если они совпадают, убедитесь в том, что они предназначены для изменения одного и того же параметра; свойства, связанные с различными типами параметров и имеющие одинаковые имена не должны использоваться.

16.2. Функции определения типов потоков данных и механизм автоматической подгрузки плагинов

Всего лишь объявив типы потоков данных, мы не достигнем поставленной цели. Для того, чтобы произвольные данные из файлов идентифицировались и проигрывались, нам понадобится надежный механизм распознавания их типа. Для этой цели была предложена концепция "определения типов потоков данных" ("typefinding"). Процесс определения типа потока данных заключается в исследовании данных мультимедийного потока и определении его типа. Он включает два отдельных этапа: на первом этапе может использоваться неограниченное число функций, которые мы называем функциями определения типа потока данных, имеющих возможность идентифицировать один или несколько типов потоков данных путем исследования входного байтового потока. После этого на втором этапе используется небольшой механизм, который выполняет регистрацию и вызов каждой их этих функций. Так работает ядро системы определения типов потоков данных. На основе этого ядра может быть разработана система автоматической подгрузки плагинов, которая будет использовать описанную систему идентификации типов потоков данных для автоматического формирования конвейера, предназначенного для обработки входного потока данных. В данном разделе мы сфокусируем свое внимание исключительно на функциях определения типов потоков данных.

Функция определения типа потока данных обычно реализуется в файле gst-plugins-base/gst/typefind/gsttypefindfunctions.c за исключением тех случаев, когда когда существуют веские причины (такие, как зависимости библиотек) для размещения ее в другом файле. Причина такой централизации состоит в стремлении к сокращению количества плагинов, которые должны быть загружены для идентификации типа потока данных. Ниже приведен пример кода для распознавания файлов формата AVI, в начале которых располагается тэг "RIFF", после которого указывается размер файла и располагается следующий тэг "AVI":

Обратите внимание на то, что в файле gst-plugins/gst/typefind/gsttypefindfunctions.c реализованы вспомогательные макросы для сокращения объема кода. Постарайтесь интенсивно использовать их в том случае, если планируете передавать разработчикам патчи с новыми функциями определения типов потоков данных.

Механизм автоматической подгрузки плагинов был подробно описан в Руководстве разработчика приложений на основе фреймворка GStreamer.

16.3. Список объявленных типов потоков данных

Ниже приведен список всех типов потоков данных, объявленных в рамках фреймворка GStreamer. Список разделен на отдельные таблицы с описаниями типов, соответствующих аудиопотокам, видеопотокам, потокам данных субтитров и других типов потоков данных с целью улучшения читаемости. Под каждой таблицей может находиться список примечаний, относящихся к информации из этой таблицы. При описании каждого из типов потоков данных мы пытаемся настолько, насколько это возможно, использовать типы и следовать установленным организацией IANA правилам.

Обратите внимание на то, что многие свойства являются не обязательными, а дополнительными. Это значит, что большая часть значений этих свойств может быть получена из заголовка контейнерного мультимедийного потока, но в том случае, если заголовок не содержит значений этих свойств, они также могут быть извлечены путем разбора заголовка самого элементарного мультимедийного потока. Политика разработки элементов устанавливает необходимость предоставления элементом информации, полученной исключительно путем разбора своего собственного потока данных, а не потока данных другого элемента. Пример: заголовок контейнерного мультимедийного потока данных формата AVI предоставляет информацию о частоте дискретизации содержащегося в нем аудиопотока. Системные потоки формата MPEG не предоставляют такой информации. Это значит, что демультиплексор потока данных формата AVI должен предоставлять значение частоты дискретизации аудиопотоков формата MPEG в качестве значения свойства, связанного с аудиопотоками формата MPEG, а демультиплексор потока данных формата MPEG - не должен. Декодер, которому требуются эти данные, должен будет установить элемент для разбора потока данных между двумя описанными элементами с целью извлечения необходимых данных из заголовка потока данных или их расчета на основе параметров потока данных.

Таблица 16.1. Таблица типов аудиопотоков

Таблица 16.1. Таблица типов видеопотоков

Таблица 16.3. Таблица типов контейнерных мультимедийных потоков

Таблица 16.4. Таблица типов потоков данных субтитров

Таблица 16.5. Таблица других типов потоков данных

---

Следующий раздел : Перемещение в мультимедийном потоке, навигация и другие действия.

---

---