LiteRT को पहले TensorFlow Lite के नाम से जाना जाता था. यह Google का बेहतर परफ़ॉर्मेंस वाला रनटाइम है चालू है. आपके पास बिक्री के लिए तैयार LiteRT मॉडल, दुनिया भर में किस रेंज में एमएल/एआई टास्क कर सकते हैं या TensorFlow, PyTorch, और JAX मॉडल को बदलकर TFLite फ़ॉर्मैट में बनाया गया है. इसमें AI Edge कन्वर्ज़न और ऑप्टिमाइज़ेशन टूल का इस्तेमाल किया जाता है.
मुख्य सुविधाएं
उपयोगकर्ता के डिवाइस पर मशीन लर्निंग के लिए ऑप्टिमाइज़ किया गया: LiteRT का इस्तेमाल, पांच ऐप्लिकेशन के लिए किया जाता है ओडीएमएल की मुख्य सीमाएं: इंतज़ार का समय (सर्वर से दोतरफ़ा यात्रा नहीं होती), निजता (डिवाइस में निजी डेटा का इस्तेमाल नहीं किया जाता), कनेक्टिविटी (इंटरनेट कनेक्टिविटी ज़रूरी नहीं), साइज़ (कम मॉडल और बाइनरी साइज़) और ऊर्जा की खपत (कुशल अनुमान और नेटवर्क कनेक्शन की कमी).
कई प्लैटफ़ॉर्म पर काम करता है: Android और iOS डिवाइस, एम्बेड किए गए Linux और माइक्रोकंट्रोलर.
मल्टी-फ़्रेमवर्क मॉडल के विकल्प: AI Edge, मॉडल को बदलने के लिए टूल उपलब्ध कराता है TensorFlow, PyTorch, और JAX मॉडल से लेकर FlatBuffers फ़ॉर्मैट में (
.tflite), इससे आपको इन पर सबसे नए और बेहतरीन मॉडल इस्तेमाल करने की सुविधा मिलती है LiteRT. आपके पास मॉडल ऑप्टिमाइज़ेशन टूल का भी ऐक्सेस है. यह टूल क्वांटाइज़ेशन और मेटाडेटा.अलग-अलग भाषाओं में उपलब्ध काम: इसमें Java/Kotlin, Swift, Objective-C, C++, और Python.
अच्छी परफ़ॉर्मेंस: हार्डवेयर से तेज़ी लाने की सुविधा खास डेलिगेट के ज़रिए शेयर किया जा सकता है. जैसे, जीपीयू और iOS Core ML.
डेवलपमेंट वर्कफ़्लो
LiteRT के डेवलपमेंट वर्कफ़्लो में किसी एमएल/एआई से जुड़ी समस्या की पहचान की जाती है, उस समस्या को हल करने वाला मॉडल चुनना और उस मॉडल को डिवाइस पर लागू करना. नीचे दिए गए तरीके से, आपको वर्कफ़्लो के बारे में पता चलता है. साथ ही, समस्या को हल करने के लिए, निर्देश.
1. एमएल (मशीन लर्निंग) से जुड़े सवाल का सबसे सही हल बताएं
LiteRT, उपयोगकर्ताओं को ज़्यादा सुविधाएं और पसंद के मुताबिक बनाने की सुविधा देता है जब बात मशीन लर्निंग की समस्याओं को हल करने की हो, तो यह मॉडल, ऐसे उपयोगकर्ता जिन्हें किसी खास मॉडल या खास तरह से लागू करने की ज़रूरत होती है. लोग जो प्लग-एंड-प्ले की सुविधा इस्तेमाल करते हैं वे MediaPipe को पसंद कर सकते हैं Tasks, जिससे आपको मशीन लर्निंग के सामान्य टास्क के लिए पहले से तैयार किए गए समाधान, जैसे कि ऑब्जेक्ट की पहचान, टेक्स्ट क्लासिफ़िकेशन, और एलएलएम अनुमान शामिल हैं.
इनमें से कोई एक AI Edge फ़्रेमवर्क चुनें:
- LiteRT: सुविधाजनक और कस्टमाइज़ किया जा सकने वाला रनटाइम, जो मॉडल की रेंज है. अपने इस्तेमाल के उदाहरण के लिए कोई मॉडल चुनें, फिर उसे LiteRT फ़ॉर्मैट का इस्तेमाल करें (अगर ज़रूरी हो) और इसे डिवाइस पर चलाएं. अगर आपको LiteRT का इस्तेमाल करने के लिए, पढ़ना जारी रखें.
- MediaPipe Tasks: काम करने वाले डिफ़ॉल्ट मॉडल के साथ काम करने की अनुमति दें ताकि उन्हें पसंद के मुताबिक बनाया जा सके. वह टास्क चुनें जो एआई/एमएल के आपके सवाल को हल कर सकता है और कई प्लैटफ़ॉर्म पर लागू करना चाहिए. अगर आपको MediaPipe Tasks इस्तेमाल करना है, तो MediaPipe देखें Tasks दस्तावेज़.
2. कोई मॉडल चुनें
LiteRT मॉडल को एक किफ़ायती पोर्टेबल फ़ॉर्मैट में दिखाया जाता है. इसे इस नाम से जाना जाता है
FlatBuffers, जो .tflite का इस्तेमाल करता है
फ़ाइल एक्सटेंशन.
LiteRT मॉडल का इस्तेमाल इन तरीकों से किया जा सकता है:
किसी मौजूदा LiteRT मॉडल का इस्तेमाल करना: सबसे आसान तरीका यह है कि LiteRT मॉडल पहले से ही
.tfliteफ़ॉर्मैट में है. ये मॉडल किसी भी के लिए कन्वर्ज़न चरण जोड़ने ज़रूरी हैं. LiteRT मॉडल यहां देखे जा सकते हैं Kaggle मॉडल.किसी मॉडल को LiteRT मॉडल में बदलना: TensorFlow कन्वर्टर, PyToch कन्वर्टर या JAX मॉडल को FlatBuffers फ़ॉर्मैट में बदलने के लिए, (
.tflite) और उन्हें LiteRT में चलाएं. शुरू करने के लिए, आपको मॉडल की जानकारी:- केगल पर TensorFlow मॉडल मॉडल और गले लगाने वाला चेहरा
- हगिंग पर PyTorch मॉडल
चेहरा और
torchvision - गिंग फ़ेस पर JAX के मॉडल
LiteRT मॉडल में, विकल्प के तौर पर वह मेटाडेटा शामिल हो सकता है जिसमें यह शामिल हो अपने-आप काम करने के लिए, मॉडल की जानकारी और मशीन से पढ़ने लायक डेटा उपयोगकर्ता के डिवाइस पर अनुमान लगाने के दौरान, प्री- और पोस्ट-प्रोसेस पाइपलाइन को जनरेट करना. ज़्यादा जानकारी के लिए, मेटाडेटा जोड़ें देखें.
3. मॉडल को अपने ऐप्लिकेशन में इंटिग्रेट करें
अनुमान लगाने के लिए, LiteRT मॉडल लागू किए जा सकते हैं वेब, एम्बेड किए गए, और मोबाइल डिवाइस पर. LiteRT में एपीआई शामिल हैं Python, Java और Kotlin Android के लिए, Swift के लिए iOS और माइक्रो-डिवाइस के लिए C++.
अपने पसंदीदा डिवाइसों पर LiteRT मॉडल लागू करने के लिए, नीचे दी गई गाइड का इस्तेमाल करें प्लैटफ़ॉर्म:
- Android पर चलाएं: Android डिवाइसों पर मॉडल चलाने के लिए, Java/Kotlin API.
- iOS पर चलाएं: Swift का इस्तेमाल करके मॉडल को iOS डिवाइसों पर चलाएं एपीआई.
- माइक्रो पर चलाएं: एम्बेड किए गए डिवाइसों पर मॉडल चलाएं इस्तेमाल कर सकते हैं.
Android और iOS डिवाइसों पर, हार्डवेयर का इस्तेमाल करके परफ़ॉर्मेंस को बेहतर बनाया जा सकता है त्वरण. दोनों में से किसी भी प्लैटफ़ॉर्म पर, GPU का इस्तेमाल किया जा सकता है किसी दूसरे व्यक्ति को अपने ईमेल खाते का ऐक्सेस दें. iOS पर Core ML का इस्तेमाल करें' डेलिगेट. नए हार्डवेयर ऐक्सेलरेटर के साथ काम करने के लिए, उनका प्रतिनिधित्व तय करें.
मॉडल टाइप के आधार पर, अनुमान लगाने के तरीके नीचे बताए गए हैं:
मेटाडेटा के बिना मॉडल: LiteRT का इस्तेमाल करें अनुवादक एपीआई. कई प्लैटफ़ॉर्म और भाषाओं पर काम करता है जैसे, Java, Swift, C++, Objective-C, और Python.
मेटाडेटा वाले मॉडल: LiteRT सपोर्ट लाइब्रेरी.
LiteRT से माइग्रेट करें
LiteRT लाइब्रेरी का इस्तेमाल करने वाले ऐप्लिकेशन काम करते रहेंगे, लेकिन सभी नए ऐक्टिव डेवलपमेंट और अपडेट, सिर्फ़ LiteRT पैकेज में शामिल किए जाएंगे. LiteRT API में तरीके के नाम एक जैसे होते हैं, जो TF Lite API में होते हैं. इसलिए, माइग्रेट करने का तरीका LiteRT के लिए, कोड में पूरी जानकारी में बदलाव करने की ज़रूरत नहीं है.
ज़्यादा जानकारी के लिए, डेटा को दूसरी जगह भेजने से जुड़ी गाइड देखें.
अगले चरण
नए उपयोगकर्ताओं को LiteRT क्विकस्टार्ट का इस्तेमाल करके शुरुआत करनी चाहिए. खास जानकारी के लिए, नीचे दिए गए सेक्शन देखें:
मॉडल कन्वर्ज़न
- TensorFlow के मॉडल को बदलना
- PyTorch मॉडल को बदलना
- PyTorch के जनरेटिव एआई मॉडल को बदलना
- JAX मॉडल को बदलना
प्लैटफ़ॉर्म गाइड