Ringkasan LiteRT

LiteRT, sebelumnya dikenal sebagai TensorFlow Lite, adalah runtime berperforma tinggi dari Google untuk AI di perangkat. Anda dapat menemukan model LiteRT siap pakai untuk berbagai berbagai tugas ML/AI, atau mengonversi dan menjalankan model TensorFlow, PyTorch, dan JAX untuk format TFLite menggunakan alat konversi dan pengoptimalan AI Edge.

Fitur utama

  • Dioptimalkan untuk machine learning di perangkat: LiteRT menangani lima batasan ODML utama: latensi (tidak ada bolak-balik ke server), privasi (tidak ada data pribadi yang keluar dari perangkat), konektivitas (konektivitas internet tidak diperlukan), ukuran (model yang dikurangi dan ukuran biner) dan konsumsi daya (inferensi yang efisien dan kurangnya koneksi jaringan).

  • Dukungan multi-platform: Kompatibel dengan Android dan Perangkat iOS, sematan Linux, dan pengontrol mikro.

  • Opsi model multi-framework: AI Edge menyediakan alat untuk mengonversi model dari model TensorFlow, PyTorch, dan JAX ke dalam format FlatBuffers (.tflite), sehingga Anda dapat menggunakan berbagai model canggih di LiteRT. Anda juga memiliki akses ke alat pengoptimalan model yang dapat menangani kuantisasi dan {i>metadata<i}.

  • Dukungan beragam bahasa: Mencakup SDK untuk Java/Kotlin, Swift, Objective-C, C++, dan Python.

  • Performa tinggi: Akselerasi hardware melalui delegasi khusus seperti GPU dan iOS Core ML.

Alur kerja pengembangan

Alur kerja pengembangan LiteRT melibatkan identifikasi masalah ML/AI, memilih model yang bisa memecahkan masalah tersebut, dan menerapkan model tersebut di perangkat. Langkah-langkah berikut akan memandu Anda melalui alur kerja dan memberikan tautan ke petunjuk.

1. Mengidentifikasi solusi yang paling sesuai untuk masalah ML

LiteRT menawarkan fleksibilitas dan kemampuan penyesuaian tingkat tinggi kepada pengguna untuk memecahkan masalah {i> machine learning<i}, membuatnya cocok untuk pengguna yang membutuhkan model tertentu atau implementasi khusus. Pengguna mencari solusi siap pakai mungkin akan lebih memilih MediaPipe Tasks, yang menyediakan solusi siap pakai untuk tugas machine learning umum seperti deteksi objek, klasifikasi teks, dan inferensi LLM.

Pilih salah satu framework AI Edge berikut:

  • LiteRT: Runtime yang fleksibel dan dapat disesuaikan yang dapat dijalankan di berbagai berbagai jenis model. Pilih model untuk kasus penggunaan Anda, konversikan ke LiteRT (jika perlu), dan jalankan di perangkat. Jika Anda bermaksud untuk menggunakan LiteRT, teruslah membaca.
  • MediaPipe Tasks: Solusi siap pakai dengan model default yang memungkinkan untuk dapat disesuaikan. Pilih tugas yang memecahkan masalah AI/ML Anda, dan menerapkannya di beberapa platform. Jika Anda ingin menggunakan MediaPipe Tasks, lihat referensi MediaPipe Dokumentasi Tasks.

2. Pilih model

Model LiteRT direpresentasikan dalam format portabel efisien yang dikenal sebagai FlatBuffers, yang menggunakan .tflite ekstensi file.

Anda dapat menggunakan model LiteRT dengan cara berikut:

Model LiteRT dapat secara opsional menyertakan metadata yang berisi deskripsi model yang dapat dibaca manusia dan data yang dapat dibaca mesin untuk pembuatan pipeline pra- dan pascapemrosesan selama inferensi di perangkat. Lihat Menambahkan metadata untuk detail selengkapnya.

3. Mengintegrasikan model ke dalam aplikasi

Anda dapat mengimplementasikan model LiteRT untuk menjalankan inferensi sepenuhnya di perangkat pada web, perangkat tersemat, dan perangkat seluler. LiteRT berisi API untuk Python, Java, dan Kotlin untuk Android, Swift untuk iOS, dan C++ untuk perangkat mikro.

Gunakan panduan berikut untuk menerapkan model LiteRT sesuai platform:

  • Berjalan di Android: Jalankan model di perangkat Android menggunakan Java/Kotlin API.
  • Berjalan di iOS: Menjalankan model di perangkat iOS menggunakan Swift Google Cloud Platform.
  • Jalankan di Mikro: Menjalankan model di perangkat tersemat menggunakan API C++.

Di perangkat Android dan iOS, Anda dapat meningkatkan performa menggunakan hardware dan percepatan. Di kedua platform tersebut, Anda dapat menggunakan GPU Delegasikan, dan di iOS, Anda dapat menggunakan Core ML Mendelegasikan. Guna menambahkan dukungan untuk akselerator hardware baru, Anda dapat menentukan delegasi Anda sendiri.

Anda dapat menjalankan inferensi dengan cara berikut berdasarkan jenis model:

  • Model tanpa metadata: Gunakan LiteRT Interpreter API. Didukung di berbagai platform dan bahasa seperti Java, Swift, C++, Objective-C, dan Python.

  • Model dengan metadata: Anda dapat membuat pipeline inferensi kustom dengan Support Library LiteRT.

Bermigrasi dari LiteRT

Aplikasi yang menggunakan library LiteRT akan tetap berfungsi, tetapi semua pengembangan dan update aktif baru hanya akan disertakan dalam paket LiteRT. LiteRT API berisi nama metode yang sama dengan TF Lite API, jadi migrasi ke LiteRT tidak memerlukan perubahan kode terperinci.

Untuk informasi selengkapnya, lihat panduan migrasi.

Langkah berikutnya

Pengguna baru harus mulai menggunakan Panduan memulai LiteRT. Untuk mengetahui informasi yang spesifik, lihat bagian berikut:

Konversi model

Panduan platform