Robots.txt file

WordPress me robots.txt file kaise lagaye

यह पोस्ट हाल ही में अपडेट की गयी है : June 24th, 2020

अगर आप नए Blogger है तो आपने अनुभव किया होगा की ब्लॉग को perfect तरीके से setup करने में कई सारी चुनौतियां आती है। जिसमें robots.txt file भी एक अहम चुनौती है। यह एक छोटी सी txt file होती है पर यह सही तरिके से implement ना की जाये तो आपके Blog SEO के लिए घातक सिद्ध हो सकती है। search boats आपकी वेबसाइट को crawl करना बंद भी कर सकते है।

आज की इस पोस्ट में हम यही बात करने वाले है की WordPress me robots.txt file kaise banaye. अगर आपका ब्लॉग blogspot पर है तो आप blogspot के लिए robots.txt file के बारे में

detailed post पढ़ सकते है।

पढ़ें : Robots.txt kya hai aur blogger me custom robots.txt kaise use karte hai?

Robots.txt file क्या है और कहाँ होती है ?

Robots.txt फाइल एक एक छोटी सी txt फाइल होती है जो वेबसाइट के root folder में होती है। इस फाइल का काम google boats और other web crawler को यह बताना है की इस webiste का कोनसा हिसा google search engine या अन्य सर्च इंजन जैसे bing, yandex में index

करना है और कोनसा index नहीं करना है।

उदाहरण के लिए आप अपने ब्राउज़र में आपकी वेबसाइट के सामने /robots.txt लगाकर चेक कर सकते है।

 https://www.example.com/robots.txt

WordPress me robots.txt लगाना क्यों जरूरी है ?

सबसे पहले ऊपर बताये अनुसार अपने ब्लॉग में robots.txt file चेक करें अगर नहीं है तो इसे जरूर बनाये। इसे लगाने के बहुत सारे फायदे है। सभी blogger चाहते है की उनकी website या blog पर अधिक reader आये और अच्छे page view मिलें। जब ब्लॉग रीडर नहीं होंगे तो आपके ब्लॉग पर ad monetization और affiliate marketing से होने वाली कमाई कम हो जाएगी अन्यथा होगी ही नहीं।

अगर हम ये सब organic तरिके से चाहते है तो

हमें अपने ब्लॉग को सर्च इंजन फ्रेंडली बनाना पड़ेगा। इसके लिए website के SEO पर ध्यान देना बहुत ही जरूरी है। Robots.txt search engine optimization का ही एक हिस्सा है। Robots.txt file proper तरिके से इस्तेमाल करके वेबसाइट की sensitive directory और information को ब्लॉक कर सकते है।

Search engine को ये बता सकते है की हमारी वेबसाइट का ये भाग index मत करना। दोस्तों ये ब्लॉक करना इसलिए जरूरी है क्यूंकि अगर इसे ब्लॉक नहीं करेंगे तो इस तरह की information hackers को हाथ लग जाती है जिससे वेबसाइट के हैक होने के Chances बढ़ जाते है।

Robots.txt का इस्तेमाल करके कई तरिके की query string को भी ब्लॉक कर सकते है जो की index purpose से जरूरी नहीं होती ये strings url google को spam लगती है। जैसे की आपके url में /?” /?s = इस तरह से कुछ symbols होते है।

हम अपनी वेबसाइट में अपने मुताबिक Allow or Disallow का टैग इस्तेमाल करके Search crawler को दिशा निर्देश दे सकते है। Robots.txt file के द्वारा low quality page, pdf, readme file या किसी specific page अथवा content को ब्लॉक किया जा सकता है।

Robots.txt file basic explaination

User-agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /?s=
Disallow: /search/
Disallow: /comments/feed/
Disallow: /recommended/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

आप देख सकते है Robots.txt file कुछ इस तरह से दिखती है। जहाँ इन टैग्स का अहम रोल होता है crawler boats को निर्देश देने का। चलिए जानते है इना क्या मतलब है।

User-agent: * (यह सभी Crwaler/Boats के लिए इस्तेमाल होता है )

Allow: (इसका मतलब होता है example.com/ के बाद कोनसा folder, Directory को index करने के लिए Allow करना है।

Disallow: (इसका मतलब होता है example.com/ के बाद कोनसा folder, Directory को indexing के लिए Disallow करना है।

Sitemap: https://example.com/sitemap_index.xml (sitemap के जरिये हम सर्च इंजन को सभी पोस्ट की लिस्ट प्रोवाइड करवाते है जब आप नई पोस्ट लिखते हैं तब sitemap के जरिये पोस्ट स्वतः गूगल में इंडेक्स होने के लिए सबमिट हो जाती है।

WordPress me Robots.txt File कैसे लगाएं ?

अगर आप SEO plugin जैसे की Yoast, Rankmath इस्तेमाल करते है तो robots.txt file को admin dashboard से edit किया जा सकता है। पर यह effective तरीका नहीं है। मैंने अपनी वेबसाइट में भी SEO plugin dashoaed से robots.txt फाइल edit की थी पर कुछ दिन बाद देखा तो SEO plugin के द्वारा generated दूसरी robots.txt file मिली। जिसकी वजह से webmaster search console में error भी देखने को मिले।

अगर आप कोई भी FTP जैसे की filezilla या अन्य file transfer protocol इस्तेमाल करते है तो अपने FTP में लॉगिन करें इसके बाद root directory जैसे की var/www/html में जाएँ।अगर पहले से यहां robots.txt file उपलब्ध है तो आप इस पर right click करके ऊपर बताये अनुसार rule edit करें और save कर दें।

Also read : Laptop ko mobile se kaise chalayen | Chrome Remote Desktop

अगर पहले से यह फाइल नहीं है तो आप एक computer में simple text editor जैसे की notepad open करें और ऊपर दिए हुए कोड के अनुसार जो आप allow, disallow करना चाहते है पूरा edit करने के बाद इसे robots.txt के नाम से computer के किसी फोल्डर में सेव करें और filezilla ftp में निचे screen shot में दिखाए अनुसार var/www/html फोल्डर ओपन करें और upload कर दें।

upload robots.txt file

Test robots.txt file

File अपलोड करने के बाद इस अपने ब्राउज़र में वेबसाइट के आगे /robots.txt लिखे और enter press करें आप पाएंगे की जो फाइल आपने अपलोड की थी वही आपके ब्राउज़र में दिख रखी है।

test Robots.txt file

इसके बाद robots.txt tester पर जाएँ और आप पाएंगे की robots.txt फाइल में कोई error है या नहीं अगर पहले की robots.txt फाइल दिख रही हो तो नई txt file submit karen और test button पर क्लिक करके check करें और submit button पर क्लिक करके purani robots.txt file की जगह नई फाइल update कर दें।

नोट : Robots.txt tester तभी काम करेगा जब आपके ब्राउज़र में गूगल वेबमास्टर सर्च कंसोल पहले से लॉगिन हो।

Also read : 52 Chinese mobile apps ban in india-Apps list

Conclusion

दोस्तों इस तरह से आप wordpress में proper तरिके से robots.txt file बना पाएंगे अगर फिर भी कोई परेशानी आ रही हो तो कमैंट्स में जरूर पूछें।

अपनी प्रतिक्रिया दें!

Do NOT follow this link or you will be banned from the site!

Adblock Detected!

Our website is made possible by displaying online advertisements to our visitors. Please consider supporting us by whitelisting our website.