Jetpack Media3 में मौजूद Transformer API, मीडिया में बदलाव करने की प्रोसेस को बेहतर और भरोसेमंद बनाने के लिए डिज़ाइन किए गए हैं. Transformer की मदद से कई तरह की कार्रवाइयां की जा सकती हैं. जैसे:
- वीडियो की काट-छांट करना, उसे स्केल करना, और घुमाना
- ओवरले और फ़िल्टर जैसे इफ़ेक्ट जोड़ना
- एचडीआर और स्लो-मोशन वीडियो जैसे खास फ़ॉर्मैट को प्रोसेस करना
- बदलाव करने के बाद, मीडिया आइटम को एक्सपोर्ट करना
इस पेज पर, Transformer के कुछ अहम इस्तेमाल के उदाहरण दिए गए हैं. ज़्यादा जानकारी के लिए, Media3 Transformer से जुड़ी हमारी पूरी गाइड देखें.
शुरू करें
शुरू करने के लिए, Jetpack Media3 के Transformer, Effect, और Common मॉड्यूल में डिपेंडेंसी जोड़ें:
Kotlin
implementation("androidx.media3:media3-transformer:1.10.1")
implementation("androidx.media3:media3-effect:1.10.1")
implementation("androidx.media3:media3-common:1.10.1")
शानदार
implementation "androidx.media3:media3-transformer:1.10.1"
implementation "androidx.media3:media3-effect:1.10.1"
implementation "androidx.media3:media3-common:1.10.1"
पक्का करें कि आपने 1.10.1 को लाइब्रेरी के अपने पसंदीदा वर्शन से बदल दिया हो. लेटेस्ट
वर्शन देखने के लिए, प्रॉडक्ट की जानकारी देखें.
अहम क्लास
| क्लास | मकसद |
|---|---|
Transformer |
ट्रांसफ़ॉर्मेशन शुरू और बंद करना. साथ ही, चल रहे ट्रांसफ़ॉर्मेशन की प्रोग्रेस के अपडेट देखना. |
EditedMediaItem |
प्रोसेस करने के लिए मीडिया आइटम और उस पर लागू किए जाने वाले बदलावों के बारे में बताता है. |
Effects |
ऑडियो और वीडियो इफ़ेक्ट का कलेक्शन. |
आउटपुट कॉन्फ़िगर करना
Transformer.Builder की मदद से, अब videoMimeType और audioMimetype को सीधे तौर पर सेट किया जा सकता है. इसके लिए, TransformationRequest ऑब्जेक्ट बनाने की ज़रूरत नहीं होती.
फ़ॉर्मैट के बीच ट्रांसकोड करना
यहां दिए गए कोड में, H.265/AVC वीडियो और AAC ऑडियो आउटपुट करने के लिए, Transformer ऑब्जेक्ट को कॉन्फ़िगर करने का तरीका बताया गया है:
Kotlin
val transformer = Transformer.Builder(context)
.setVideoMimeType(MimeTypes.VIDEO_H265)
.setAudioMimeType(MimeTypes.AUDIO_AAC)
.build()
Java
Transformer transformer = new Transformer.Builder(context)
.setVideoMimeType(MimeTypes.VIDEO_H265)
.setAudioMimeType(MimeTypes.AUDIO_AAC)
.build();
अगर इनपुट मीडिया का फ़ॉर्मैट, ऑडियो या वीडियो के लिए ट्रांसफ़ॉर्मेशन के अनुरोध से पहले से ही मेल खाता है, तो Transformer अपने-आप ट्रांसमक्सिंग पर स्विच हो जाता है. इसका मतलब है कि कंप्रेस किए गए सैंपल को बिना किसी बदलाव के, इनपुट कंटेनर से आउटपुट कंटेनर में कॉपी करना. इससे, एक ही फ़ॉर्मैट में डिकोड करने और फिर से एनकोड करने में लगने वाली कंप्यूटिंग लागत और क्वालिटी में होने वाले संभावित नुकसान से बचा जा सकता है.
एचडीआर मोड सेट करना
अगर इनपुट मीडिया फ़ाइल, एचडीआर फ़ॉर्मैट में है, तो Transformer के ज़रिए एचडीआर की जानकारी प्रोसेस करने के लिए, अलग-अलग मोड में से कोई एक चुना जा सकता है. आम तौर पर, HDR_MODE_KEEP_HDR या HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL का इस्तेमाल किया जाता है.
HDR_MODE_KEEP_HDR |
HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL |
|
|---|---|---|
| ब्यौरा | एचडीआर डेटा को बनाए रखना. इसका मतलब है कि एचडीआर आउटपुट का फ़ॉर्मैट, एचडीआर इनपुट के फ़ॉर्मैट जैसा ही होगा. | OpenGL टोन-मैपर का इस्तेमाल करके, एचडीआर इनपुट को एसडीआर में टोनमैप करना. इसका मतलब है कि आउटपुट का फ़ॉर्मैट एसडीआर में होगा. |
| सहायता | एपीआई लेवल 31 या इससे नए वर्शन वाले उन डिवाइसों पर काम करता है जिनमें FEATURE_HdrEditing की सुविधा के साथ एनकोडर शामिल है. |
एपीआई लेवल 29 या इससे नए वर्शन वाले डिवाइसों पर काम करता है. |
| गड़बड़ियां | अगर यह सुविधा काम नहीं करती है, तो इसके बजाय HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL का इस्तेमाल करने की कोशिश की जाती है. |
अगर यह सुविधा काम नहीं करती है, तो ExportException दिखता है. |
जिन डिवाइसों पर ज़रूरी एनकोडिंग की सुविधाएं काम करती हैं और Android 13 (एपीआई लेवल 33) या इससे नया वर्शन मौजूद है उन पर, Transformer ऑब्जेक्ट की मदद से एचडीआर वीडियो में बदलाव किए जा सकते हैं.
Composition ऑब्जेक्ट बनाते समय, HDR_MODE_KEEP_HDR डिफ़ॉल्ट मोड होता है. जैसा कि यहां दिए गए कोड में दिखाया गया है:
Kotlin
val composition = Composition.Builder(
ImmutableList.of(videoSequence))
.setHdrMode(HDR_MODE_KEEP_HDR)
.build()
Java
Composition composition = new Composition.Builder(
ImmutableList.of(videoSequence))
.setHdrMode(Composition.HDR_MODE_KEEP_HDR)
.build();
मीडिया आइटम तैयार करना
A MediaItem आपके ऐप्लिकेशन में ऑडियो या वीडियो आइटम को दिखाता है. An
EditedMediaItem MediaItem के साथ-साथ उस पर लागू किए जाने वाले ट्रांसफ़ॉर्मेशन को इकट्ठा करता है.
वीडियो की काट-छांट करना
वीडियो के अनचाहे हिस्सों को हटाने के लिए, MediaItem में ClippingConfiguration जोड़कर, वीडियो के शुरू और खत्म होने की जगह को अपनी पसंद के मुताबिक सेट किया जा सकता है.
Kotlin
val clippingConfiguration = MediaItem.ClippingConfiguration.Builder()
.setStartPositionMs(10_000) // start at 10 seconds
.setEndPositionMs(20_000) // end at 20 seconds
.build()
val mediaItem = MediaItem.Builder()
.setUri(videoUri)
.setClippingConfiguration(clippingConfiguration)
.build()
Java
ClippingConfiguration clippingConfiguration = new MediaItem.ClippingConfiguration.Builder()
.setStartPositionMs(10_000) // start at 10 seconds
.setEndPositionMs(20_000) // end at 20 seconds
.build();
MediaItem mediaItem = new MediaItem.Builder()
.setUri(videoUri)
.setClippingConfiguration(clippingConfiguration)
.build();
बिल्ट-इन इफ़ेक्ट इस्तेमाल करना
Media3 में, सामान्य ट्रांसफ़ॉर्मेशन के लिए कई बिल्ट-इन वीडियो इफ़ेक्ट शामिल हैं. जैसे:
| क्लास | इफ़ेक्ट |
|---|---|
Presentation |
रिज़ॉल्यूशन या आसपेक्ट रेशियो के हिसाब से मीडिया आइटम को स्केल करना |
ScaleAndRotateTransformation |
मल्टीप्लायर के हिसाब से मीडिया आइटम को स्केल करना और/या उसे घुमाना |
Crop |
मीडिया आइटम को छोटे या बड़े फ़्रेम में क्रॉप करना |
OverlayEffect |
मीडिया आइटम के ऊपर टेक्स्ट या इमेज ओवरले जोड़ना |
ऑडियो इफ़ेक्ट के लिए, AudioProcessor इंस्टेंस का क्रम जोड़ा जा सकता है. इससे रॉ (पीसीएम) ऑडियो डेटा को ट्रांसफ़ॉर्म किया जा सकेगा. उदाहरण के लिए, ऑडियो चैनलों को मिक्स और स्केल करने के लिए, a
ChannelMixingAudioProcessor का इस्तेमाल किया जा सकता है.
इन इफ़ेक्ट का इस्तेमाल करने के लिए, इफ़ेक्ट या ऑडियो प्रोसेसर का इंस्टेंस बनाएं. इसके बाद, Effects का इंस्टेंस बनाएं. इसमें वे ऑडियो और वीडियो इफ़ेक्ट शामिल करें जिन्हें आपको मीडिया आइटम पर लागू करना है. इसके बाद, Effects ऑब्जेक्ट को EditedMediaItem में जोड़ें.
Kotlin
val channelMixingProcessor = ChannelMixingAudioProcessor()
val rotateEffect = ScaleAndRotateTransformation.Builder().setRotationDegrees(60f).build()
val cropEffect = Crop(-0.5f, 0.5f, -0.5f, 0.5f)
val effects = Effects(listOf(channelMixingProcessor), listOf(rotateEffect, cropEffect))
val editedMediaItem = EditedMediaItem.Builder(mediaItem)
.setEffects(effects)
.build()
Java
ChannelMixingAudioProcessor channelMixingProcessor = new ChannelMixingAudioProcessor();
ScaleAndRotateTransformation rotateEffect = new ScaleAndRotateTransformation.Builder()
.setRotationDegrees(60f)
.build();
Crop cropEffect = new Crop(-0.5f, 0.5f, -0.5f, 0.5f);
Effects effects = new Effects(
ImmutableList.of(channelMixingProcessor),
ImmutableList.of(rotateEffect, cropEffect)
);
EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(mediaItem)
.setEffects(effects)
.build();
कस्टम इफ़ेक्ट बनाना
Media3 में शामिल इफ़ेक्ट को बढ़ाकर, अपने इस्तेमाल के उदाहरणों के हिसाब से कस्टम इफ़ेक्ट बनाए जा सकते हैं. यहां दिए गए उदाहरण में, वीडियो को ज़ूम करके, प्लेबैक के पहले सेकंड में फ़्रेम में फ़िट करने के लिए, सबक्लास MatrixTransformation का इस्तेमाल करें:
Kotlin
val zoomEffect = MatrixTransformation { presentationTimeUs ->
val transformationMatrix = Matrix()
// Set the scaling factor based on the playback position
val scale = min(1f, presentationTimeUs / 1_000f)
transformationMatrix.postScale(/* x */ scale, /* y */ scale)
transformationMatrix
}
val editedMediaItem = EditedMediaItem.Builder(inputMediaItem)
.setEffects(Effects(listOf(), listOf(zoomEffect)))
.build()
Java
MatrixTransformation zoomEffect = presentationTimeUs -> {
Matrix transformationMatrix = new Matrix();
// Set the scaling factor based on the playback position
float scale = min(1f, presentationTimeUs / 1_000f);
transformationMatrix.postScale(/* x */ scale, /* y */ scale);
return transformationMatrix;
};
EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(inputMediaItem)
.setEffects(new Effects(ImmutableList.of(), ImmutableList.of(zoomEffect)))
.build();
किसी इफ़ेक्ट के व्यवहार को और ज़्यादा पसंद के मुताबिक बनाने के लिए, GlShaderProgram लागू करें.
queueInputFrame() तरीके का इस्तेमाल, इनपुट फ़्रेम को प्रोसेस करने के लिए किया जाता है. उदाहरण के लिए,
MediaPipe की मशीन लर्निंग की सुविधाओं का फ़ायदा पाने के लिए,
MediaPipe FrameProcessor का इस्तेमाल करके, हर फ़्रेम को MediaPipe
ग्राफ़ के ज़रिए भेजा जा सकता है. इसका उदाहरण, Transformer के डेमो ऐप्लिकेशन में देखें.
इफ़ेक्ट की झलक देखना
ExoPlayer की मदद से, एक्सपोर्ट की प्रोसेस शुरू करने से पहले, मीडिया आइटम में जोड़े गए इफ़ेक्ट की झलक देखी जा सकती है. Effect ऑब्जेक्ट का इस्तेमाल करके, EditedMediaItem के लिए इस्तेमाल किए गए setVideoEffects() को अपने ExoPlayer इंस्टेंस पर कॉल करें.
Kotlin
val player = ExoPlayer.Builder(context)
.build()
.also { exoPlayer ->
exoPlayer.setMediaItem(inputMediaItem)
exoPlayer.setVideoEffects(listOf(zoomEffect))
exoPlayer.prepare()
}
Java
ExoPlayer player = new ExoPlayer.Builder(context).build();
player.setMediaItem(inputMediaItem);
player.setVideoEffects(ImmutableList.of(zoomEffect));
player.prepare();
ExoPlayer की मदद से, ऑडियो इफ़ेक्ट की झलक भी देखी जा सकती है. ExoPlayer इंस्टेंस बनाते समय, कस्टम RenderersFactory पास करें. इससे प्लेयर के ऑडियो रेंडरर, AudioSink को ऑडियो आउटपुट करने के लिए कॉन्फ़िगर हो जाएंगे. यह AudioSink, आपके AudioProcessor क्रम का इस्तेमाल करता है. यहां दिए गए उदाहरण में, हम DefaultRenderersFactory के buildAudioSink() तरीके को बदलकर ऐसा करते हैं.
Kotlin
val player = ExoPlayer.Builder(context, object : DefaultRenderersFactory(context) {
override fun buildAudioSink(
context: Context,
enableFloatOutput: Boolean,
enableAudioTrackPlaybackParams: Boolean,
enableOffload: Boolean
): AudioSink? {
return DefaultAudioSink.Builder(context)
.setEnableFloatOutput(enableFloatOutput)
.setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
.setOffloadMode(if (enableOffload) {
DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
} else {
DefaultAudioSink.OFFLOAD_MODE_DISABLED
})
.setAudioProcessors(arrayOf(channelMixingProcessor))
.build()
}
}).build()
Java
ExoPlayer player = new ExoPlayer.Builder(context, new DefaultRenderersFactory(context) {
@Nullable
@Override
protected AudioSink buildAudioSink(
Context context,
boolean enableFloatOutput,
boolean enableAudioTrackPlaybackParams,
boolean enableOffload
) {
return new DefaultAudioSink.Builder(context)
.setEnableFloatOutput(enableFloatOutput)
.setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
.setOffloadMode(
enableOffload
? DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
: DefaultAudioSink.OFFLOAD_MODE_DISABLED)
.setAudioProcessors(new AudioProcessor[]{channelMixingProcessor})
.build();
}
}).build();
ट्रांसफ़ॉर्मेशन शुरू करना
आखिर में, अपने बदलाव लागू करने और मीडिया आइटम को एक्सपोर्ट करने के लिए, Transformer बनाएं.
Kotlin
val transformer = Transformer.Builder(context)
.addListener(listener)
.build()
transformer.start(editedMediaItem, outputPath)
Java
Transformer transformer = new Transformer.Builder(context)
.addListener(listener)
.build();
transformer.start(editedMediaItem, outputPath);
इसी तरह, ज़रूरत पड़ने पर एक्सपोर्ट की प्रोसेस को रद्द किया जा सकता है
Transformer.cancel().
प्रोग्रेस के अपडेट देखना
Transformer.start तुरंत काम करता है और एसिंक्रोनस तरीके से चलता है. ट्रांसफ़ॉर्मेशन की मौजूदा प्रोग्रेस के बारे में जानने के लिए, को कॉल करें Transformer.getProgress(). इस तरीके में ProgressHolder का इस्तेमाल किया जाता है. अगर प्रोग्रेस की स्थिति उपलब्ध है, यानी अगर यह तरीका PROGRESS_STATE_AVAILABLE दिखाता है, तो दिए गए ProgressHolder को मौजूदा प्रोग्रेस के प्रतिशत के साथ अपडेट किया जाएगा.
पूरा होने या गड़बड़ी वाले इवेंट के बारे में सूचना पाने के लिए, अपने Transformer में लिसनर भी जोड़ा जा सकता है.