लाइन ब्रेक हटाएं: ऑनलाइन टेक्स्ट लाइनों को साफ़ और मर्ज करें

डिजिटल कंटेंट वर्कफ़्लो में प्लेन टेक्स्ट में 'हार्ड लाइन ब्रेक' सबसे आम फ़ॉर्मेटिंग समस्याओं में से एक हैं। ये कई वजहों से होते हैं: PDF से टेक्स्ट निकालना (जहाँ लाइन ब्रेक वाक्य के अंत के बजाय PDF कॉलम की सीमा पर होते हैं), पुराने CMS से एक्सपोर्ट (जहाँ आर्टिकल को फिक्स्ड-विड्थ फ़ॉन्ट में दिखाए जाने के समय तय की गई लाइन की चौड़ाई के साथ स्टोर किया गया था), टर्मिनल आउटपुट (जो 80 या 120 कैरेक्टर पर लाइन रैप करता है), और ऐसे ईमेल मैसेज जो फिक्स्ड-विड्थ रैपिंग वाले क्लाइंट से एक्सपोर्ट किए गए हों। इन सभी मामलों में, कंटेंट तो सही होता है लेकिन फ़ॉर्मेटिंग गलत होती है — लाइन ब्रेक टेक्स्ट में किसी सार्थक स्ट्रक्चरल विभाजन के बजाय ओरिजिनल सिस्टम की आउटपुट चौड़ाई को दिखाते हैं।

इस टूल की ज़रूरत पड़ने का सबसे आम कारण PDF से टेक्स्ट निकालना है। एकेडमिक पेपर, बिज़नेस रिपोर्ट, सरकारी दस्तावेज़ और कानूनी फाइलिंग अक्सर PDF के तौर पर पब्लिश किए जाते हैं। जब रिसर्चर, एनालिस्ट या वकील टेक्स्ट कंटेंट पर काम करते हैं — जैसे किसी दूसरे दस्तावेज़ में उसका हवाला देना, NLP मॉडल में डालना या डेटाबेस में स्टोर करना — तो PDF रीडर से कॉपी करने पर टेक्स्ट में हर 60–80 कैरेक्टर के बाद लाइन ब्रेक आ जाते हैं, जो PDF के कॉलम की चौड़ाई पर निर्भर करता है। एक पैराग्राफ 8–12 छोटी लाइनों में बदल जाता है। इस टूल में पेस्ट करने और लाइन ब्रेक हटाने से वे टूटी हुई लाइनें दस सेकंड से भी कम समय में वापस लगातार टेक्स्ट में बदल जाती हैं।

CMS प्लेटफ़ॉर्म के बीच माइग्रेट करने वाली कंटेंट ऑपरेशन्स टीमों के लिए, 2000 के दशक की शुरुआत के सिस्टम में स्टोर पुराने कंटेंट के आर्टिकल बॉडी में कभी-कभी हार्ड-कोडेड लाइन ब्रेक होते हैं, क्योंकि ओरिजिनल एडिटर फिक्स्ड-विड्थ HTML में रेंडर होता था। जब इस कंटेंट को एक्सपोर्ट करके रिस्पॉन्सिव लेआउट वाले मॉडर्न CMS में इंपोर्ट किया जाता है, तो हार्ड-कोडेड ब्रेक अलग-अलग स्क्रीन साइज़ पर कंटेंट की रैपिंग में गड़बड़ी पैदा करते हैं। इंपोर्ट करने से पहले लाइन ब्रेक हटाने से नया CMS व्यूपोर्ट की चौड़ाई के हिसाब से कंटेंट को फिर से रैप कर पाता है, जो कि मॉडर्न वेब टेक्स्ट के काम करने का सही तरीका है।

NLP और टेक्स्ट प्रोसेसिंग पाइपलाइन में इस समस्या का एक खास रूप देखने को मिलता है। लैंग्वेज मॉडल, टेक्स्ट क्लासिफायर और एम्बेडिंग मॉडल ऐसे इनपुट की उम्मीद करते हैं जो या तो वाक्य-स्तर (sentence-level) के हों या डॉक्यूमेंट-स्तर (document-level) के, और जिनमें वाक्य के बीच में लाइन ब्रेक न हों — ब्रेक कैरेक्टर एक व्हाइटस्पेस टोकन होता है जो वाक्य के बीच में आने पर वाक्य की सीमाओं के बारे में मॉडल की समझ को बिगाड़ देता है। टोकनाइज़ेशन से पहले, स्क्रैप या एक्सट्रैक्ट किए गए टेक्स्ट के कॉर्पस (डेटा के संग्रह) से इन फालतू लाइन ब्रेक को हटाना प्री-प्रोसेसिंग का एक आम चरण है; और जब कोई स्क्रिप्टेड पाइपलाइन उपलब्ध नहीं होती, तो यह टूल अलग-अलग डॉक्यूमेंट के लिए इस काम को संभालता है।

कुछ खास मामलों में लाइन ब्रेक जान-बूझकर दिए जाते हैं, जिनका ध्यान रखना ज़रूरी है: जैसे कविता और छंद, जहाँ हर लाइन का अपना एक अर्थ होता है; कोड, जहाँ सिंटैक्स के हिसाब से इंडेंटेशन और नई लाइनें ज़रूरी होती हैं; बुलेट और नंबर वाली लिस्ट, जहाँ स्ट्रक्चर के लिए हर आइटम अलग लाइन पर होता है; और डायलॉग या स्क्रिप्ट, जहाँ हर बोलने वाले की लाइन एक अलग टेक्स्ट यूनिट होती है। यह टूल डिफ़ॉल्ट रूप से सभी लाइन ब्रेक हटा देता है — अगर आप पैराग्राफ़ के बीच खाली लाइन वाले सेपरेटर बनाए रखना चाहते हैं और साथ ही पैराग्राफ़ के अंदर के ब्रेक हटाना चाहते हैं, तो 'पैराग्राफ़-प्रिज़र्वेशन' (paragraph-preservation) ऑप्शन का इस्तेमाल करें; और कोड या कविता पर इस टूल का इस्तेमाल बिल्कुल न करें।