はじめに
SAM 3 ビデオセグメンテーション
SAM 3 ビデオセグメンテーション(Video Segmentation)は、ビデオフレーム全体でオブジェクトを簡単に追跡し、セグメント化できるパワフルなツールです。特殊効果の作成、背景の削除、ビデオコンテンツの分析など、このツールはピクセル単位の正確な結果を提供します。
特徴
- 自動追跡: 最初のフレームでオブジェクトを定義するだけで、AI が後続のすべてのフレームで正確に追跡します。
- グリーンバック不要: 背景の複雑さに関係なく、AI が主体を識別して分離します。
- 複数のインタラクションモード: テキスト記述(クイックモード)または AI エージェント(自然言語理解)によるターゲットのロックをサポートします。
- クラウド GPU 加速: 複雑なビデオ処理はクラウドクラスターで完了し、迅速なレスポンスを保証します。
使用方法
1. ビデオのアップロード
アップロードエリアをクリックするか、ファイルをドラッグ&ドロップして開始します。
- サポート形式: MP4, WebM, MOV。
- 制限事項: 現在、最適な処理効率を確保するため、最大 50MB かつ 30 秒以内のビデオをサポートしています。
2. 追跡ターゲットの定義
AI に追跡したい内容を伝えるために、2 つのモードを使用できます:
クイックモード (Quick Mode)
- 入力ボックスに英語のキーワードを入力します(例:
dancing person,red cup)。 - このモードは、ターゲットが明確で直接的な記述に適しています。
AI エージェントモード (Agent Mode)
- AI エージェントタブに切り替えます。
- キーフレームを選択し、自然言語でターゲットを記述します(例:
Identify the black car that moves from left to right)。 - このフレームを分析をクリックして、識別結果をプレビューします。
3. 処理とプレビュー
- 分析プレビュー: ビデオ全体の処理を開始する前に、選択したフレームで AI がどのようにオブジェクトを識別しているかを確認できます。
- 処理の実行: ターゲットを確認したら、ビデオを処理をクリックします。AI はフレームごとに埋め込みを抽出し、セグメンテーションパスを生成します。
- 進捗の確認: 形式の最適化、マージ、音声の復元など、処理ステータスをリアルタイムで確認できます。
4. 結果のダウンロード
処理が完了したら、以下のことが可能です:
- 効果のプレビュー: ブラウザで処理済みのプレビュービデオを直接再生します。
- ビデオのダウンロード: セグメンテーションマスク付きのビデオ、または特定オブジェクトのみのビデオファイルを保存します。
クレジット
- ビデオ処理は所要時間に基づいて課金され、通常、ビデオ 1 秒あたり 1 クレジットを消費します。
- システムは、ビデオの長さに応じてリアルタイムで見積もり費用を表示します。
よくある質問
すべてのフレームを手動でラベル付けする必要がありますか?
いいえ。最初のフレームで、またはテキスト記述によってターゲットを定義するだけです。SAM 3 の検出器-追跡器アーキテクチャが残りの作業を自動的に行います。
プロンプトは英語である必要がありますか?
はい。最高精度の識別を保証するため、AI エージェントおよびクイックモードでは英語での記述を推奨しています。
ビデオが長すぎる場合はどうすればよいですか?
ビデオが 30 秒を超える場合は、まずカット編集することをお勧めします。現在の 30 秒の制限は、すべてのユーザーに安定して迅速な処理体験を提供するためのものです。