अपना Robots.txt फ़ाइल ऑप्टिमाइज़ करना सीखें | Better SEO के लिए
तो आप एक robots.txt रॉकस्टार एह बनना चाहते हैं? ठीक है, इससे पहले कि आप उन वेब मकड़ियों को अपनी लय में नृत्य कर सकें, कुछ बुनियादी सिद्धांत हैं जिनसे आपको परिचित होना चाहिए। अपनी robots.txt फ़ाइल गलत तरीके से बनाएं और आप चोट की दुनिया में होंगे। इसे ठीक से करें और सर्च इंजन आपको पसंद करेंगे।
Read More: Wix vs WordPress - कौन सा बेहतर है? (फायदा और नुकसान)
Robots.txt फ़ाइल विभिन्न खोज इंजन बॉट / क्रॉलर / मकड़ियों को निर्देश दे रही है जहां वे आपकी वेबसाइट पर नहीं जा सकते हैं। आप इन बॉट्स (Google, बिंग, आदि) को बता रहे हैं कि उन्हें आपकी वेबसाइट पर "देखने" की क्या अनुमति है और क्या ऑफ सीमा है।
आपकी robots.txt फ़ाइल ट्रैफ़िक स्टॉप पर पुलिस अधिकारी है और कार वेब क्रॉलर / स्पाइडर हैं ।
सही बात? अच्छा।
& अधिक…
यह निर्धारित करना एक अच्छा विचार होगा कि क्या आपकी वेबसाइट के पास वर्तमान में robots.txt फ़ाइल है जिसके साथ शुरुआत करनी है। आप वर्तमान में मौजूद किसी भी चीज़ को ओवरराइड नहीं करना चाहते हैं। यदि आपको नहीं पता है कि आपकी वेबसाइट में रोबोट फाइल है, तो बस अपनी वेबसाइट पर जाएँ और उसके बाद "robots.txt" पर जाएँ। यह कैसा दिखेगा इसका एक उदाहरण है:
www.mywebsite.com/robots.txt
"mywebsite" भाग को अपने स्वयं के डोमेन नाम से बदलें।
* नोट : robots.txt फ़ाइल के लिए स्थान हमेशा आपकी वेबसाइट के "रूट" या "होम" स्तर में होना चाहिए, अर्थात यह आपके होमपेज या इंडेक्स पेज के समान फ़ोल्डर में होना चाहिए।
यदि आप उस URL पर जाते समय कुछ नहीं देखते हैं, तो आपकी वेबसाइट में robots.txt फ़ाइल नहीं है। यदि आपको जानकारी दिखाई देती है, तो आपके पास एक वर्तमान रोबोट फ़ाइल है। इस मामले में, जब आप किसी भी नियम को संपादित करने या जोड़ने के लिए जाते हैं (नीचे दिखाया गया है), तो सुनिश्चित करें कि आपके पास वर्तमान में मौजूद किसी भी चीज़ को डिलीट न करें क्योंकि यह आपकी वेबसाइट को "गड़बड़" कर सकता है।
सुरक्षित होने के लिए, इसे संपादित करने से पहले अपने robots.txt फ़ाइल की एक बैकअप प्रतिलिपि बनाएँ। जब डिजिटल फाइलों के साथ काम करने की बात आती है, तो मेरे पास आपके लिए तीन शब्द हैं: ALWAYS MAKE BACKUPS
Robots.txt फ़ाइल बनाने के लिए, किसी भी प्रकार के टेक्स्ट एडिटर को खोलें। यह महत्वपूर्ण है कि आप WYSIWYG सॉफ़्टवेयर (वेब पेज डिज़ाइन सॉफ़्टवेयर) का उपयोग न करें, क्योंकि ये उपकरण अतिरिक्त कोड जोड़ सकते हैं जो हम नहीं चाहते हैं। इसे सरल रखें और एक पाठ संपादक का उपयोग करें। सामान्य लोगों में शामिल हैं:
इनमें से कोई भी प्रोग्राम करेगा और चूंकि आपका पीसी डिफ़ॉल्ट रूप से नोटपैड के साथ आता है, इसलिए आप इस ट्यूटोरियल के लिए भी इसका उपयोग कर सकते हैं।
नोटपैड ओपन के साथ, अपने "नियम" में दर्ज करना शुरू करें। एक बार जब आप अपने नियमों को दर्ज कर लेते हैं, तो आप फ़ाइल को "रोबोट" कहकर सहेजते हैं और आप यह सुनिश्चित करते हैं कि इसे "टेक्स्ट डॉक्यूमेंट्स (* .txt)" के विस्तार के साथ सहेजा गया है।
आपको अपने robots.txt फ़ाइल में किस तरह के "नियम" दर्ज करने चाहिए? यह इस बात पर निर्भर करता है कि आप क्या हासिल करना चाहते हैं। अपने नियमों को दर्ज करने से पहले, आपको यह तय करने की आवश्यकता है कि आप अपनी वेबसाइट पर क्रॉल होने से "ब्लॉक" या "छिपाना" क्या चाहते हैं। आपकी वेबसाइट पर फ़ोल्डर जिन्हें खोज इंजन परिणामों में क्रॉल करने और अनुक्रमित करने की कोई आवश्यकता नहीं है, उनमें शामिल हैं:
हाथ पर इस जानकारी के साथ, अपने नियमों को स्थापित करना आसान है। आइए एक नजर डालते हैं कि हम ऐसा कैसे करते हैं।
जब यह robots.txt फ़ाइल की बात आती है, तो आपके नियम बनाने के लिए एक मानक प्रारूप होता है।
मान लीजिए कि आपके पास एक वेबसाइट है (जो आप शायद करते हैं?)। आपकी वेबसाइट पर, (चलो इसे mywebsite.com कहते हैं) आपके पास एक उप-फ़ोल्डर था जिसमें डुप्लिकेट जानकारी / परीक्षण सामग्री / सामान शामिल था जिसे आप निजी रखना चाहते हैं। हो सकता है कि आपके पास यह उप-फ़ोल्डर सेटअप स्टेजिंग या परीक्षण क्षेत्र के रूप में हो। चलो इस फ़ोल्डर को "मंचन" कहते हैं। आपकी robots.txt फ़ाइल कुछ इस तरह दिखाई देगी:
बहुत आसान है ना? आइए एक नजर डालते हैं कि यहां क्या हो रहा है।
उपयोगकर्ता-एजेंट परिभाषा खोज इंजन मकड़ियों को संबोधित करती है और तारांकन चिह्न का उपयोग वाइल्डकार्ड के रूप में किया जाता है। इसलिए यह नियम सभी खोज इंजनों से सभी मकड़ियों को निर्देश दे रहा है , कि उन्हें बाद में आने वाले सभी नियमों का पालन करने की आवश्यकता है ।
यह तब तक होगा जब तक कि अन्य उपयोगकर्ता-एजेंट की घोषणा रोबोट में आगे घोषित न हो जाए। तब (यदि आपको इसे फिर से उपयोग करना पड़ा)। बाद में क्या आता है?
बहुत ही अगला नियम है:
यह अस्वीकृत नियम खोज इंजन मकड़ियों को बता रहा है कि उन्हें आपकी वेबसाइट पर कुछ भी क्रॉल करने की अनुमति नहीं है जो "मंचन" फ़ोल्डर में रहता है। हमारी काल्पनिक वेबसाइट के नाम का उपयोग करते हुए, यह स्थान इस तरह दिखाई देगा: www.mywebsite.com/staging/
* टिप : ध्यान रखें कि सिर्फ इसलिए कि आप अपनी वेबसाइट के एक निश्चित हिस्से को क्रॉल होने से रोकते हैं, यह अभी भी खोज इंजन के सूचकांक में दिखाई दे सकता है। यदि यह पहले क्रॉल किया गया था और यदि आपने उन पृष्ठों को अनुक्रमित करने की अनुमति दी है ।
यह सुनिश्चित करने के लिए कि ऐसा नहीं होता है, यह अस्वीकृत नियम को "noindex" मेटा टैग के साथ आपके वेबपेजों में जोड़ा जाता है (उस पर पृष्ठ नीचे और अधिक)। यदि आपके द्वारा क्रॉल नहीं किए जाने वाले पृष्ठ पहले से ही खोज इंजन के सूचकांक में प्रदर्शित होते हैं, तो आपको उन्हें संबंधित खोज इंजन (Google / Bing) के वेबमास्टर टूल क्षेत्र के माध्यम से मैन्युअल रूप से निकालना पड़ सकता है।
Reference:
https://www.magcloud.com/user/mrwhoisthebo88
https://videacesky.cz/video/dust-system-spojeni
Read More: Wix vs WordPress - कौन सा बेहतर है? (फायदा और नुकसान)
एक Robots.txt फ़ाइल क्या है?
यह एक "निर्देश मैनुअल" वेब क्रॉलर (Google, बिंग, आदि ..) जब आपकी वेबसाइट पर जाता है।Robots.txt फ़ाइल विभिन्न खोज इंजन बॉट / क्रॉलर / मकड़ियों को निर्देश दे रही है जहां वे आपकी वेबसाइट पर नहीं जा सकते हैं। आप इन बॉट्स (Google, बिंग, आदि) को बता रहे हैं कि उन्हें आपकी वेबसाइट पर "देखने" की क्या अनुमति है और क्या ऑफ सीमा है।
आपकी robots.txt फ़ाइल ट्रैफ़िक स्टॉप पर पुलिस अधिकारी है और कार वेब क्रॉलर / स्पाइडर हैं ।
सही बात? अच्छा।
मुझे Robots.txt फाइल की आवश्यकता क्यों है?
SEO का अक्सर उपेक्षित हिस्सा, robots.txt फ़ाइल एक ऐसी चीज़ है जिसे लोग जल्दबाजी में एक साथ मारते हैं। हो सकता है कि ऐसा इसलिए है क्योंकि यह एक वेबसाइट लॉन्च सूची में अंतिम वस्तुओं में से एक है (नहीं होना चाहिए ... लेकिन आप जानते हैं ...) या शायद सामान्य रूप से लोग आलसी हैं। क्या आप एक आलसी वेबमास्टर हैं? मुझे आशा नहीं है…अगर मैं इस Robots.txt फ़ाइल का उपयोग नहीं करता तो क्या गलत हो सकता है?
Robots.txt फ़ाइल के बिना, आपकी वेबसाइट है :- रेंगने के मामले में अनुकूलित नहीं
- एसईओ त्रुटियों के लिए अधिक संभावना है
- देखा जा रहा संवेदनशील डेटा के लिए खुला है
- वेबसाइट को हैक करने के लिए बीमार उपयोगकर्ताओं के लिए आसान
- प्रतियोगिता के पीछे पीड़ित होने के लिए जा रहे हैं
- अनुक्रमण समस्याओं के लिए जा रहे हैं
- वेबमास्टर टूल में सॉर्ट करने के लिए एक गड़बड़ हो रहा है
- खोज इंजनों को भ्रमित संकेत देने के लिए जा रहे हैं
& अधिक…
चलिए शुरू करते हैं: अपनी Robots.txt फाइल बनाना
# 1 मिनट : क्या आपके पास पहले से ही एक Robots.txt फाइल है?
यह निर्धारित करना एक अच्छा विचार होगा कि क्या आपकी वेबसाइट के पास वर्तमान में robots.txt फ़ाइल है जिसके साथ शुरुआत करनी है। आप वर्तमान में मौजूद किसी भी चीज़ को ओवरराइड नहीं करना चाहते हैं। यदि आपको नहीं पता है कि आपकी वेबसाइट में रोबोट फाइल है, तो बस अपनी वेबसाइट पर जाएँ और उसके बाद "robots.txt" पर जाएँ। यह कैसा दिखेगा इसका एक उदाहरण है:
www.mywebsite.com/robots.txt
"mywebsite" भाग को अपने स्वयं के डोमेन नाम से बदलें।
* नोट : robots.txt फ़ाइल के लिए स्थान हमेशा आपकी वेबसाइट के "रूट" या "होम" स्तर में होना चाहिए, अर्थात यह आपके होमपेज या इंडेक्स पेज के समान फ़ोल्डर में होना चाहिए।
यदि आप उस URL पर जाते समय कुछ नहीं देखते हैं, तो आपकी वेबसाइट में robots.txt फ़ाइल नहीं है। यदि आपको जानकारी दिखाई देती है, तो आपके पास एक वर्तमान रोबोट फ़ाइल है। इस मामले में, जब आप किसी भी नियम को संपादित करने या जोड़ने के लिए जाते हैं (नीचे दिखाया गया है), तो सुनिश्चित करें कि आपके पास वर्तमान में मौजूद किसी भी चीज़ को डिलीट न करें क्योंकि यह आपकी वेबसाइट को "गड़बड़" कर सकता है।
सुरक्षित होने के लिए, इसे संपादित करने से पहले अपने robots.txt फ़ाइल की एक बैकअप प्रतिलिपि बनाएँ। जब डिजिटल फाइलों के साथ काम करने की बात आती है, तो मेरे पास आपके लिए तीन शब्द हैं: ALWAYS MAKE BACKUPS
# 2 मिनट : अपनी Robots.txt फ़ाइल शुरू करना
Robots.txt फ़ाइल बनाना उतना ही आसान है जितना कि बिस्तर से बाहर निकलना। ठीक है, मेरे लिए अच्छी तरह से बिस्तर से बाहर निकलना मुश्किल है, लेकिन मैं पचता हूं।Robots.txt फ़ाइल बनाने के लिए, किसी भी प्रकार के टेक्स्ट एडिटर को खोलें। यह महत्वपूर्ण है कि आप WYSIWYG सॉफ़्टवेयर (वेब पेज डिज़ाइन सॉफ़्टवेयर) का उपयोग न करें, क्योंकि ये उपकरण अतिरिक्त कोड जोड़ सकते हैं जो हम नहीं चाहते हैं। इसे सरल रखें और एक पाठ संपादक का उपयोग करें। सामान्य लोगों में शामिल हैं:
- नोटपैड
- Notepad ++
- कोष्ठक
- TextWrangler
- TextMate
- उदात्त पाठ
- शक्ति
- परमाणु
- आदि..
इनमें से कोई भी प्रोग्राम करेगा और चूंकि आपका पीसी डिफ़ॉल्ट रूप से नोटपैड के साथ आता है, इसलिए आप इस ट्यूटोरियल के लिए भी इसका उपयोग कर सकते हैं।
नोटपैड ओपन के साथ, अपने "नियम" में दर्ज करना शुरू करें। एक बार जब आप अपने नियमों को दर्ज कर लेते हैं, तो आप फ़ाइल को "रोबोट" कहकर सहेजते हैं और आप यह सुनिश्चित करते हैं कि इसे "टेक्स्ट डॉक्यूमेंट्स (* .txt)" के विस्तार के साथ सहेजा गया है।
आपको अपने robots.txt फ़ाइल में किस तरह के "नियम" दर्ज करने चाहिए? यह इस बात पर निर्भर करता है कि आप क्या हासिल करना चाहते हैं। अपने नियमों को दर्ज करने से पहले, आपको यह तय करने की आवश्यकता है कि आप अपनी वेबसाइट पर क्रॉल होने से "ब्लॉक" या "छिपाना" क्या चाहते हैं। आपकी वेबसाइट पर फ़ोल्डर जिन्हें खोज इंजन परिणामों में क्रॉल करने और अनुक्रमित करने की कोई आवश्यकता नहीं है, उनमें शामिल हैं:
- साइट-खोज पृष्ठ
- चेकआउट / ईकॉमर्स अनुभाग
- उपयोगकर्ता लॉग-इन क्षेत्रों
- संवेदनशील जानकारी
- परीक्षण / स्टेजिंग / डुप्लिकेट डेटा
- आदि..
हाथ पर इस जानकारी के साथ, अपने नियमों को स्थापित करना आसान है। आइए एक नजर डालते हैं कि हम ऐसा कैसे करते हैं।
एक Robots.txt फ़ाइल के नियमों को समझना
मान लीजिए कि आपके पास एक वेबसाइट है (जो आप शायद करते हैं?)। आपकी वेबसाइट पर, (चलो इसे mywebsite.com कहते हैं) आपके पास एक उप-फ़ोल्डर था जिसमें डुप्लिकेट जानकारी / परीक्षण सामग्री / सामान शामिल था जिसे आप निजी रखना चाहते हैं। हो सकता है कि आपके पास यह उप-फ़ोल्डर सेटअप स्टेजिंग या परीक्षण क्षेत्र के रूप में हो। चलो इस फ़ोल्डर को "मंचन" कहते हैं। आपकी robots.txt फ़ाइल कुछ इस तरह दिखाई देगी:
बहुत आसान है ना? आइए एक नजर डालते हैं कि यहां क्या हो रहा है।
उपयोगकर्ता-एजेंट परिभाषा खोज इंजन मकड़ियों को संबोधित करती है और तारांकन चिह्न का उपयोग वाइल्डकार्ड के रूप में किया जाता है। इसलिए यह नियम सभी खोज इंजनों से सभी मकड़ियों को निर्देश दे रहा है , कि उन्हें बाद में आने वाले सभी नियमों का पालन करने की आवश्यकता है ।
यह तब तक होगा जब तक कि अन्य उपयोगकर्ता-एजेंट की घोषणा रोबोट में आगे घोषित न हो जाए। तब (यदि आपको इसे फिर से उपयोग करना पड़ा)। बाद में क्या आता है?
बहुत ही अगला नियम है:
यह अस्वीकृत नियम खोज इंजन मकड़ियों को बता रहा है कि उन्हें आपकी वेबसाइट पर कुछ भी क्रॉल करने की अनुमति नहीं है जो "मंचन" फ़ोल्डर में रहता है। हमारी काल्पनिक वेबसाइट के नाम का उपयोग करते हुए, यह स्थान इस तरह दिखाई देगा: www.mywebsite.com/staging/
* टिप : ध्यान रखें कि सिर्फ इसलिए कि आप अपनी वेबसाइट के एक निश्चित हिस्से को क्रॉल होने से रोकते हैं, यह अभी भी खोज इंजन के सूचकांक में दिखाई दे सकता है। यदि यह पहले क्रॉल किया गया था और यदि आपने उन पृष्ठों को अनुक्रमित करने की अनुमति दी है ।
यह सुनिश्चित करने के लिए कि ऐसा नहीं होता है, यह अस्वीकृत नियम को "noindex" मेटा टैग के साथ आपके वेबपेजों में जोड़ा जाता है (उस पर पृष्ठ नीचे और अधिक)। यदि आपके द्वारा क्रॉल नहीं किए जाने वाले पृष्ठ पहले से ही खोज इंजन के सूचकांक में प्रदर्शित होते हैं, तो आपको उन्हें संबंधित खोज इंजन (Google / Bing) के वेबमास्टर टूल क्षेत्र के माध्यम से मैन्युअल रूप से निकालना पड़ सकता है।
एक सहायक संसाधन:
वेब क्रॉलर उपयोगकर्ता-एजेंट के नाम का एक अच्छा सूची के लिए, कृपया देखें: http://www.robotstxt.org/db.html । यहाँ आप बहुत अधिक किसी भी क्रॉलर "नाम" को पा सकते हैं और इसे अपनी अनुमत / अस्वीकृत-अनुमत सूची में जोड़ सकते हैं ... हालांकि अधिकांश लोगों को इसकी आवश्यकता नहीं होगी।निष्कर्ष और समापन विचार
तो अब आपके पास अपनी वेबसाइट के लिए प्रभावी रूप से अपनी robots.txt फ़ाइल बनाने और अनुकूलित करने की शक्ति और ज्ञान है - भयानक! हालाँकि अभी बहुत कुछ सीखना बाकी है। Robots.txt फ़ाइल केवल सैकड़ों वस्तुओं में से एक है जिसका उपयोग हम अपने ग्राहकों के लिए दैनिक आधार पर करते हैं और सुनिश्चित करते हैं कि हम वक्र से आगे रहें।Reference:
https://www.magcloud.com/user/mrwhoisthebo88
https://videacesky.cz/video/dust-system-spojeni
Comments
Post a Comment