グラフィック プロセッシング ユニット（GPU）は、CPU と比較して並列スループットが非常に大きいため、ディープ ラーニングの高速化によく使用されます。LiteRT Next では、コンパイル済みモデル（CompiledModel）を作成するときにハードウェア アクセラレーションをパラメータとして指定できるため、GPU アクセラレーションの使用プロセスが簡素化されています。また、LiteRT Next では、LiteRT では提供されていない、新しく改善された GPU アクセラレーション実装も使用されます。
LiteRT Next の GPU アクセラレーションを使用すると、GPU に適した入力バッファと出力バッファを作成できます。また、GPU メモリ内のデータをゼロコピーで処理し、タスクを非同期で実行して並列処理を最大化できます。
GPU をサポートする LiteRT Next の実装例については、次のデモアプリをご覧ください。
GPU の依存関係を追加する
Kotlin または C++ アプリケーションに GPU 依存関係を追加する手順は次のとおりです。
Kotlin
Kotlin ユーザーの場合、GPU アクセラレータは組み込まれているため、スタートガイドの手順以外に追加の手順は必要ありません。
C++
C++ ユーザーの場合は、LiteRT GPU アクセラレーションを使用してアプリケーションの依存関係をビルドする必要があります。コア アプリケーション ロジックをパッケージ化する cc_binary ルール（main.cc）には、次のランタイム コンポーネントが必要です。
- LiteRT C API 共有ライブラリ:
data属性には、LiteRT C API 共有ライブラリ（//litert/c:litert_runtime_c_api_shared_lib）と GPU 固有のコンポーネント（@litert_gpu//:jni/arm64-v8a/libLiteRtGpuAccelerator.so）を含める必要があります。 - 属性の依存関係: 通常、
deps属性には GLES 依存関係gles_deps()が含まれ、linkoptsにはgles_linkopts()が含まれます。LiteRT は Android で OpenGLES を使用することが多いため、どちらも GPU アクセラレーションに関連しています。 - モデルファイルとその他のアセット:
data属性で指定します。
cc_binary ルールの例を次に示します。
cc_binary(
name = "your_application",
srcs = [
"main.cc",
],
data = [
...
# litert c api shared library
"//litert/c:litert_runtime_c_api_shared_lib",
# GPU accelerator shared library
"@litert_gpu//:jni/arm64-v8a/libLiteRtGpuAccelerator.so",
],
linkopts = select({
"@org_tensorflow//tensorflow:android": ["-landroid"],
"//conditions:default": [],
}) + gles_linkopts(), # gles link options
deps = [
...
"//litert/cc:litert_tensor_buffer", # litert cc library
...
] + gles_deps(), # gles dependencies
)
この設定により、コンパイルされたバイナリは GPU を動的に読み込み、機械学習推論の高速化に使用できます。
使ってみる
GPU アクセラレータの使用を開始するには、コンパイル済みモデル（CompiledModel）を作成するときに GPU パラメータを渡します。次のコード スニペットは、プロセス全体の基本的な実装を示しています。
C++
// 1. Load model
LITERT_ASSIGN_OR_RETURN(auto model, Model::CreateFromFile("mymodel.tflite"));
// 2. Create a compiled model targeting GPU
LITERT_ASSIGN_OR_RETURN(auto env, Environment::Create({}));
LITERT_ASSIGN_OR_RETURN(auto compiled_model, CompiledModel::Create(env, model, kLiteRtHwAcceleratorGpu));
// 3. Prepare input/output buffers
LITERT_ASSIGN_OR_RETURN(auto input_buffers, compiled_model.CreateInputBuffers());
LITERT_ASSIGN_OR_RETURN(auto output_buffers, compiled_model.CreateOutputBuffers());
// 4. Fill input data (if you have CPU-based data)
input_buffers[0].Write<float>(absl::MakeConstSpan(cpu_data, data_size));
// 5. Execute
compiled_model.Run(input_buffers, output_buffers);
// 6. Access model output
std::vector<float> data(output_data_size);
output_buffers.Read<float>(absl::MakeSpan(data));
Kotlin
// Load model and initialize runtime
val model =
CompiledModel.create(
context.assets,
"mymodel.tflite",
CompiledModel.Options(Accelerator.GPU),
env,
)
// Preallocate input/output buffers
val inputBuffers = model.createInputBuffers()
val outputBuffers = model.createOutputBuffers()
// Fill the first input
inputBuffers[0].writeFloat(FloatArray(data_size) { data_value /* your data */ })
// Invoke
model.run(inputBuffers, outputBuffers)
// Read the output
val outputFloatArray = outputBuffers[0].readFloat()
詳細については、C++ を使ってみるまたは Kotlin を使ってみるのガイドをご覧ください。
LiteRT Next GPU アクセラレータ
LiteRT Next でのみ使用可能な新しい GPU アクセラレータは、大規模な行列乗算や LLM の KV キャッシュなどの AI ワークロードを、以前のバージョンよりも効率的に処理するように最適化されています。LiteRT Next GPU アクセラレータは、LiteRT バージョンと比較して次の重要な改善点があります。
- 演算子のサポート範囲の拡大: より大規模で複雑なニューラル ネットワークを処理します。
- バッファの相互運用性の向上: カメラ フレーム、2D テクスチャ、大規模な LLM 状態に GPU バッファを直接使用できるようにします。
- 非同期実行のサポート: CPU 前処理と GPU 推論を重ねて実行します。
GPU アクセラレーションによるゼロコピー
ゼロコピーを使用すると、GPU は CPU がそのデータを明示的にコピーしなくても、独自のメモリ内のデータに直接アクセスできます。ゼロコピーでは、CPU メモリとの間でデータをコピーしないため、エンドツーエンドのレイテンシを大幅に短縮できます。
次のコードは、ベクター グラフィックのレンダリング用 API である OpenGL を使用したゼロコピー GPU の実装例です。このコードは、OpenGL バッファ形式の画像を LiteRT Next に直接渡します。
// Suppose you have an OpenGL buffer consisting of:
// target (GLenum), id (GLuint), size_bytes (size_t), and offset (size_t)
// Load model and compile for GPU
LITERT_ASSIGN_OR_RETURN(auto model, Model::CreateFromFile("mymodel.tflite"));
LITERT_ASSIGN_OR_RETURN(auto env, Environment::Create({}));
LITERT_ASSIGN_OR_RETURN(auto compiled_model,
CompiledModel::Create(env, model, kLiteRtHwAcceleratorGpu));
// Create a TensorBuffer that wraps the OpenGL buffer.
LITERT_ASSIGN_OR_RETURN(auto tensor_type, model.GetInputTensorType("input_tensor_name"));
LITERT_ASSIGN_OR_RETURN(auto gl_input_buffer, TensorBuffer::CreateFromGlBuffer(env,
tensor_type, opengl_buffer.target, opengl_buffer.id, opengl_buffer.size_bytes, opengl_buffer.offset));
std::vector<TensorBuffer> input_buffers{gl_input_buffer};
LITERT_ASSIGN_OR_RETURN(auto output_buffers, compiled_model.CreateOutputBuffers());
// Execute
compiled_model.Run(input_buffers, output_buffers);
// If your output is also GPU-backed, you can fetch an OpenCL buffer or re-wrap it as an OpenGL buffer:
LITERT_ASSIGN_OR_RETURN(auto out_cl_buffer, output_buffers[0].GetOpenClBuffer());
非同期実行
LiteRT の非同期メソッド（RunAsync() など）を使用すると、CPU または NPU を使用して他のタスクを続行しながら、GPU 推論をスケジュールできます。複雑なパイプラインでは、GPU は CPU や NPU とともに非同期で使用されることがよくあります。
次のコード スニペットは、ゼロコピー GPU アクセラレーションの例で提供されているコードを基にしています。このコードは CPU と GPU の両方を非同期で使用し、LiteRT Event を入力バッファにアタッチします。LiteRT Event は、さまざまなタイプの同期プリミティブを管理します。次のコードは、LiteRtEventTypeEglSyncFence タイプのマネージド LiteRT イベント オブジェクトを作成します。この Event オブジェクトにより、GPU が完了するまで入力バッファから読み取らないようにします。これらはすべて、CPU を介さずに行われます。
LITERT_ASSIGN_OR_RETURN(auto env, Environment::Create({}));
LITERT_ASSIGN_OR_RETURN(auto compiled_model,
CompiledModel::Create(env, model, kLiteRtHwAcceleratorGpu));
// 1. Prepare input buffer (OpenGL buffer)
LITERT_ASSIGN_OR_RETURN(auto gl_input,
TensorBuffer::CreateFromGlBuffer(env, tensor_type, opengl_tex));
std::vector<TensorBuffer> inputs{gl_input};
LITERT_ASSIGN_OR_RETURN(auto outputs, compiled_model.CreateOutputBuffers());
// 2. If the GL buffer is in use, create and set an event object to synchronize with the GPU.
LITERT_ASSIGN_OR_RETURN(auto input_event,
Event::CreateManagedEvent(env, LiteRtEventTypeEglSyncFence));
inputs[0].SetEvent(std::move(input_event));
// 3. Kick off the GPU inference
compiled_model.RunAsync(inputs, outputs);
// 4. Meanwhile, do other CPU work...
// CPU Stays busy ..
// 5. Access model output
std::vector<float> data(output_data_size);
outputs[0].Read<float>(absl::MakeSpan(data));
サポートされているモデル
LiteRT Next は、次のモデルで GPU アクセラレーションをサポートしています。ベンチマークの結果は、Samsung Galaxy S24 デバイスで実施したテストに基づいています。