विषय-सूची
Robots.txt file क्या है?
Robots.txt file एक ऐसा Text फाइल का रूप है। जो वेबसाइट में root folder में स्थित होती हैं इसका खास मकसद search engine crawler को कमांड देना होता है। अतः bot आपके वेबसाइट को मुख्यतः क्रॉलर करने लगता है।
आसान शब्दों में जाने तो- जब कभी भी हम कोई न्यू ब्लॉग या वेबसाइट क्रिएट करते हैं तब सर्च इंजन के Robot या crawler वेबसाइट के प्रत्येक पेज पर crawler करके Index करते हैं किंतु वेबसाइट में कई ऐसे भी पेज हो सकते हैं जिनको प्राइवेट रखना जरूरी है या सर्च इंजन के क्रॉलर इन्हें क्रॉल नहीं कर सके। इसी स्थिति में सर्च इंजन के क्रॉलर को ऐसी सूचना देने के लिए ही Robots.txt file का इस्तेमाल होता है।
Robots.txt file की परिभाषा क्या है?
Robots.txt file की परिभाषा- वेबसाइट में वह फाइल जिसकी मदद से सर्च इंजन क्रॉलर को सूचना भेजी जाती है कि वेबसाइट के कौन-कौन से पेज को क्रॉल करना है और किस पेज पर क्रॉल नहीं करना है।
Robots.txt file के फायदे क्या होते हैं?
Robots.txt file के कुछ फायदे निम्नलिखित प्रदर्शित किए गए हैं आइए जानते है-
1. इसकी मदद से वेबसाइट के जो महत्वपूर्ण पेज होते हैं उनको तुरंत इंडेक्स किया जा सकता है।
2. इसके द्वारा वेबसाइट के टोटल सेक्शन को प्राइवेट रख सकते हैं।
3. इसके द्वारा जो वेबसाइट में Low Value Page होते हैं उनको ब्लॉक करना संभव है। साथ ही Website SEO में बहुत कुछ सुधार भी कर सकते हैं।
4. Crawl Budget का आप सही तरीके से उपयोग कर सकते हैं।
Robots.txt file को किस तरह बना सकते हैं?
Robots.txt file बनाने से पहले आपको यहां ज्ञात होना चाहिए कि आप Blogger.com और wordpress.com इन दोनों में से किस प्लेटफार्म पर Robots.txt file बना रहे हैं। इन दोनों प्लेटफार्म पर फाइल बनाने के लिए नीचे कुछ जानकारियां दी गई है। जिनको अवश्य फॉलो करें-
Blogger में Robots.txt file बनाने की मेथड कुछ इस प्रकार हैं-
• आपको सर्वप्रथम ब्लॉगर डैशबोर्ड में Setting वाला ऑप्शन चुनना है।
• Setting वाले विकल्प पर आने के बाद Crawlers and Indexing का ऑप्शन ढूंढना है और उस पर क्लिक करना है।
• अब आप केवल Enable Custom Robots.txt वाले ऑप्शन को Enable कर दीजिए।
• अंततः आपको नीचे एक विकल्प दिखाई देगा Custom Robots.txt यहां पर आप फाइल एडिट करके Blogger वेबसाइट में Add कर सकते हैं।
WordPress में Robots.txt file बनाने की मेथड कुछ इस प्रकार हैं-
• आपको सबसे पहले WordPress Dashboard में SEO वाले ऑप्शन पर क्लिक करना होगा।
• फिर आपको Tool वाले ऑप्शन पर क्लिक करना होगा।
• इसके बाद आपको File Editor का ऑप्शन देखने को मिलेगा।
• उस ऑप्शन पर आपको क्लिक करना है। क्लिक करने के बाद आप आसानी से Robots.txt file को जोड़ सकते हैं।
किसी भी वेबसाइट की Robots.txt File कैसे चेक कर सकते हैं?
दोस्तों आप अगर अपनी वेबसाइट की Robots.txt File चेक करना चाहते है तो आपको नीचे एक उदाहरण दिया गया है आपको वहां पर जो “example” लिखा है। वहां आपको वेबसाइट का Domain Name दर्ज करना है दर्ज करने के बाद आप आराम से robots.txt फाइल देख सकते हैं।
https://example.com/robots.txt
Bots क्या होता है?
Bots वहा सॉफ्टवेयर होता है जिसको इंटरनेट पर ऑटोमेटेड वर्क के लिए ही क्रिएट किया जाता है। इतना ही नहीं Bots वेबसाइट में आधे से ज्यादा ट्रैफिक लाने का एक तरीका है किंतु यह दो प्रकार के होते हैं। Good Bots और Bad Bots
Good Bots के बारे में:-
इस प्रकार के Bots बहुत ही हेल्पफुल होते हैं। खासकर वेबसाइट और यूजर के लिए ज्यादा ही क्योंकि इसके द्वारा ही वेबसाइट के पेज को Crawl किया जाता है। जिस वजह से सर्च इंजन रिजल्ट पेज में वे सभी वेबसाइट दिख सके जो काफी अच्छी हो। साथ ही News Updates, Best Price on A Product, Copyrighted Content इन सभी को सर्च करने के लिए भी बहुत ही लाभदायक है। 36% Web Traffic आपको बता दे की इतना ट्रैफिक केवल Bots के माध्यम से ही आता है।
Good Bots की विशेषता यहां की ये आपकी वेबसाइट पर जो अवेलेबल Robots.Txt File है उसके नियम के अनुसार ही वर्क करते हैं।
कुछ Good Bots के उदाहरण- GOOGLEBOT, BINGBOT, SLURP
Bad Bots के बारे में:-
इस प्रकार की Bots बहुत ही नुकसानकारी होती है। इसके द्वारा वेबसाइट और यूजर इन दोनों को काफी नुकसान पहुंचाता है। इतना ही नहीं यहां वेबसाइट के डाटा को भी चुरा लेती है। Bad Bots वेबसाइट को पूर्ण तरीके से डैमेज के स्तर पर ले आती है।
नमस्कार दोस्तों,
मेरा नाम Nik Vishwakarma है, सबसे पहले तो आप सभी का यहाँ पर स्वागत है। मै इस Blog का Founder हूँ और ये gyanmaala.com का पेज है। मै आप सभी के लिए यहाँ Internet और Technology से संबंधित Unique एवं Informative जानकारियां शेयर करता रहता हूँ …