robot.txt file kya hai और इसका उपयोग

यदि आप ब्लॉगिंग की दुनिया में कदम रख रहे हैं तो आपने robot.txt क्या होता है यह ज़रुर सोचा होगा?

Robot.txt का आपके ब्लॉग पर काफी अच्छा प्रभाव होता है. यह कोई भी वेबसाइट के लिए आवश्यक है.

आपने रोबोट के बारे में ज़रूर सुना होगा. यह एक तरह के मशीन होते हैं जिनका काम कुछ आर्डर को follow करना होता है. Robot.txt फाइल भी उसी तरह से कार्य करता है. यह कोई भी सर्च इंजन को बताता है कि website के किस पेज को crawl करना है और किस पेज पर आपको नहीं जाना है.

इतना ही नहीं किया SEO के लिए काफी जरूरी चीज है. इसके अन्य फायदे हम आगे जानेंगे. हम यह भी देखेंगे कि आप इसको अपनी वेबसाइट पर कैसे लगा सकते हैं.

Robot.txt file kya hai

Robot.txt एक प्रकार की text फाइल होती है जो आपके वेबसाइट के root folder में लगी होती है. इसका कार्य search engine crawler को आदेश देना होता है. इसी पर bot आपके वेबसाइट को crawler करता है.

Benefits Of Robot.txt | Robot.txt के फायदे

इस फाइल के 5 बेहतरीन फायदे जो आपको जरूर मालूम होनी चाहिए:-

  1. यह आपके वेबसाइट पर दिखाता है कि किस page को crawl करना है और किस pages को नहीं.
  2. Crawl Budget बचाना – Crawl करने के लिए सर्च इंजन के पास एक निर्धारित समय सीमा होती है. अगर यह समय बढ़ता है तो इससे आपकी रैंकिंग नीचे आती है. Robot.txt का उपयोग करके आप सर्च इंजन को बता सकते हैं कि इन pages को crawl नहीं करना. इस तरह आप सर्च इंजन का समय बचा सकते हैं और अपनी रैंकिंग भी बढ़ा सकते हैं.
  3. Website Performance को बेहतर करना – कभी bot आपके वेबसाइट पर भूखे शेर की तरह हमला करते हैं. एक ही बार में बहुत सारे search engine bots आपके वेबसाइट पर आ सकते हैं. लेकिन आप robot.txt के अंदर delay का उपयोग करके यह होने से बच सकते हैं.
  4. कुछ महत्वपूर्ण pages को छुपा सकते हैं – एक ब्लॉगर के तौर पर हम चाहते हैं कि हमारे कुछ pages को कोई भी सर्च इंजन ना ढूंढो. उदाहरण के तौर पर – login page. आप robot.txt का प्रयोग करके यह कार्य काफी आसानी से कर सकते हैं.
  5. Low Quality pages को छुपा सकते हैं – Blog बनाते समय बहुत सारे pages अच्छे नहीं बनते या उनका कंटेंट हमारे मुताबिक नहीं होता. तो हमारे पास दो विकल्प मौजूद रहता है – उन page को हटा दें या उनको block कर दें. दोनों ही रास्ते से आप यह कार्य आसानी से कर सकते हैं.

Robot.txt file को अपनी वेबसाइट पर कैसे ढूंढे

अगर आप की वेबसाइट पर पहले से ही robots.txt फाइल है तो यह आसानी से आप देख सकते हैं. अपनी वेबसाइट के आगे type करें – /robots.txt.

उदाहरण के लिए अगर मुझे अपनी वेबसाइट का robots.txt फाइल देखना है तो मैं कैसे देख सकता हूं:-

Hindimaigyan.com/robot.txt

आपको कुछ इस तरह का फाइल दिखेगा जिससे आप समझ जाएंगे कि आप की वेबसाइट पर किस तरह का robot.txt file है.

Robot.txt file के कुछ महत्वपूर्ण syntax

कुछ चीजें आपको इस फाइल के बारे में जानना बहुत जरूरी है.

  1. User-Agent
  2. Disallow
  3. Crawl-Delay
  4. Allow

चलिए इन दोनों को एक-एक करके समझते हैं:-

  1. User-Agent

यह किसी भी सर्च इंजन के नाम को दर्शाता है. अगर आपको किसी specific सर्च इंजन के बारे में बता रहे हैं तो आप को उसका नाम लिखना होगा. और अगर सभी सर्च इंजन के बारे में बता रहे हैं तो “*” का प्रयोग करें.

कुछ प्रसिद्ध सर्च इंजन और उनके नाम:-

  1. Google – Googlebot
  2. Yahoo – Slurp
  3. Bing – Bing bot
  4. DuckDuckGo – Duckduck bot
  5. Baidu – Baidu spider
  1. Disallow
    इसकी सहायता से आप सर्च इंजन को बता सकते हैं कि कौन से page को crawl नहीं करना है. अगर आपको वेबसाइट के किसी भी पेज को crawl नहीं कराना तब आप “/” symbol का प्रयोग करेंगे. वरना आपको पेज का नाम लिखना होगा.
    उदाहरण:-
    a. Disallow: / – यह आपके वेबसाइट को crawl नहीं करेगा.
    b. Disallow: /Category/ – यह आपके वेबसाइट के category पेज को crawl नहीं करेगा.
  2. Crawl-delay – इससे आप सर्च इंजन के crawl के बीच में समय अंतर निर्धारित कर सकते हैं. इसका फायदा यह होगा कि आपके वेबसाइट पर एक समय में ज्यादा सर्च इंजन नहीं आएंगे. इस वजह से आपकी वेबसाइट के कभी down होने की संभावना नहीं होगी.
    उदाहरण:-
    Crawl-delay: 120
    इसका मतलब यह कि आपने सर्च इंजन के बीच का अंतराल 120 milli second रख दिया है. मतलब एक सर्च इंजन के आने के 120 millisecond के बाद ही दूसरा सर्च इंजन आएगा.
    हमने robots.txt फाइल के सभी syntax को समझ लिया है. अब हम कुछ उदाहरण से इसको practical रूप में देखते हैं.
  3. Allow – इसकी सहायता से आप किसी भी सर्च इंजन को अपनी वेबसाइट है crawl करने की अनुमति दे सकते हैं.

Practical usage:-

Example – 1

  1. User-agent: Googlebot
  2. Crawl-delay: 120
  3. Disallow: /

इस robots.txt फाइल की सहायता से आप Google को बता रहे हैं कि आपके वेबसाइट के किसी भी पेज को करो ना करें.

Example – 2

  1. User-agent: *
  2. Allow: /

इस फाइल की सहायता से हम सभी सर्च इंजन को अपनी वेबसाइट के हर एक पेज को crawl करने के लिए बुला रहे हैं.

Leave a Comment