JSON से TOON कन्वर्टर

बड़े लैंग्वेज मॉडल में हर टोकन के लिए चार्ज लगता है, और JSON टोकन के मामले में कम कुशल (inefficient) है। इसमें हर की (key) को कोट (quote) किया जाता है, हर ऑब्जेक्ट में डेलिमिटर (delimiters) दोहराए जाते हैं, और नेस्टेड स्ट्रक्चर तेज़ी से बड़े हो जाते हैं। TOON को इसी समस्या को हल करने के लिए बनाया गया था; यह कम से कम सिंटैक्स ओवरहेड के साथ उसी डेटा को एनकोड करता है, साथ ही यह डिटरमिनिस्टिक और पार्स करने योग्य भी रहता है। JSON को TOON में बदलने से आमतौर पर प्रीटी-प्रिंटेड JSON की तुलना में 30-60% और मिनिफ़ाइड JSON की तुलना में 15-30% इनपुट टोकन की बचत होती है, जिससे लागत सीधे कम हो जाती है और एक निश्चित कॉन्टेक्स्ट विंडो में ज़्यादा डेटा समा सकता है।

इस कन्वर्ज़न में स्ट्रक्चर पूरी तरह से वैसा ही रहता है — ऑब्जेक्ट, एरे, स्ट्रिंग, नंबर, बूलियन और नल सभी TOON के बराबर वाले फ़ॉर्मैट में बदल जाते हैं। जहाँ TOON का तरीका कॉम्पैक्ट रूप में दिखाने की इजाज़त देता है, वहाँ नेस्टेड हायरार्की को बिना ज़रूरत के कोटिंग या ब्रैकेट नेस्टिंग के दिखाया जाता है। इसका आउटपुट इंसानों के एडिट करने के बजाय LLM के इस्तेमाल के लिए बनाया गया है, हालाँकि डीबगिंग के लिए इसे पढ़ा जा सकता है। JSON से TOON और TOON से JSON को एक साथ इस्तेमाल करने से बिना किसी डेटा लॉस वाला राउंड-ट्रिप वर्कफ़्लो मिलता है: मॉडल के लिए कंप्रेस करें, कोड के लिए एक्सपैंड करें।

यह कन्वर्टर TOON एनकोडर के ज़रिए JSON इनपुट को बदलने से पहले RFC 8259 के अनुसार उसे वैलिडेट करता है। यह ऑपरेशन बैकएंड प्रोसेसर के ज़रिए चलता है और प्रॉम्प्ट, एजेंट ट्रेस या रिट्रीवल पाइपलाइन में तुरंत इस्तेमाल के लिए TOON स्ट्रिंग देता है।