robots.txt फ़ाइल क्या है और इसका उपयोग कैसे करें? 

“robots.txt” एक टेक्निकल स्टैंडर्ड है जो वेबसाइट ओवनर्स (वेबसाइट के मालिक) का वेब क्रॉलर्स (जैसे कि गूगल बॉट) के लिए वेबसाइट की यात्रा को नियंत्रित करने में मदद करता है। यह एक पाठ फ़ाइल होती है जिसे वेबसाइट के रूट डायरेक्टरी में रखा जाता है और वेब क्रॉलर्स को बताती है कि किस भाग को क्रॉल करने की अनुमति है और किसे नहीं।

“robots.txt” फ़ाइल का उपयोग कुछ मुख्य कार्यों के लिए किया जाता है

1. क्रॉलिंग नियंत्रण वेबसाइट ओवनर्स यह निर्धारित कर सकते हैं कि कौनसे वेब पृष्ठों को वेब क्रॉलर्स को क्रॉल करने की अनुमति है और कौनसे को नहीं। इसके जरिए, वे विशिष्ट वेब पृष्ठों को या फाइलों को क्रॉलिंग से बचा सकते हैं, जो वेबसाइट के लिए उपयोगी नहीं हो सकते हैं, जैसे कि लॉगिन पृष्ठ या प्राइवेट डेटा।
2. वेब क्रॉलर का नाम “robots.txt” फ़ाइल में वेबसाइट के लिए कौन से वेब क्रॉलर्स की अनुमति है, वे वेब क्रॉलर के नाम और आईपी पतों की एक सूची के रूप में स्पेसिफाइ कर सकते हैं।

“robots.txt” फ़ाइल का उपयोग करने के लिए, आपको एक पाठ फ़ाइल बनानी होती है और इसे अपने वेबसाइट के रूट डायरेक्टरी में रखना होता है। फिर, आप इस फ़ाइल में आवश्यक निर्देशों को जोड़ सकते हैं जो वेब क्रॉलर्स को आपकी वेबसाइट की यात्रा को कैसे नियंत्रित करनी है।

ध्यान दें कि “robots.txt” फ़ाइल केवल वेब क्रॉलर्स के लिए सुझाव होती है और वे इसे अनुमानित रूप से फॉलो करते हैं, लेकिन यह किसी भी प्रकार की गैर-सुरक्षितता के लिए एक सुरक्षा उपाय नहीं है। क्राइमिनल्स और बढ़ती तकनीकी चुनौतियों के साथ, वेब क्रॉलर्स किसी भी निर्देशों का पालन नहीं कर सकते हैं, इसलिए आपको वेबसाइट की सुरक्षा को सुनिश्चित करने के लिए अन्य सुरक्षा उपायों का भी उपयोग करना हो सकता है।

robots.txt फ़ाइल का इसका उपयोग कैसे करें? 

“robots.txt” एक प्रकार की टेक्निकल फ़ाइल है जो वेबसाइट प्रशासकों द्वारा उपयोग की जाती है ताकि वेब रोबोट्स (जैसे कि गूगल बॉट्स) को साइट के विभिन्न भागों की एक्सेस की अनुमति दी जा सके या विशेष भागों से उन्हें ब्लॉक किया जा सके।

robots.txt फ़ाइल का प्राथमिक उद्देश्य है किसी खोज इंजन को बताना कि किस भाग कोली वेबसाइट के रोबोट्स को क्रॉल और इंडेक्स करने की अनुमति है और किन भागों को नहीं क्रॉल करने की अनुमति नहीं है।

robots.txt फ़ाइल का एक सामान्य रूप से इस तरह से दिख सकता है

इस robots.txt फ़ाइल में दो प्रमुख डायरेक्टिव्स हैं

1. User-agent यह बताता है कि इस डिसालो और एलो कमांड को कौनसा वेब रोबोट (उपयोगकर्ता एजेंट) मानेगा। * यहां एक विशेष उपयोगकर्ता एजेंट के लिए सभी रोबोट्स को संकेत देता है।
2. Disallow यह बताता है कि किस URL पैथ को रोबोट्स क्रॉल नहीं कर सकते हैं। /private/ पैथ को यहां पर नकारा किया गया है, इसका मतलब है कि रोबोट्स उस पैथ को क्रॉल नहीं करेंगे।
3. Allow यह बताता है कि किस URL पैथ को रोबोट्स क्रॉल कर सकते हैं, चाहे वे Disallow की अनुमति देते हैं। /public/ पैथ को यहां पर अनुमति दी गई है, इसका मतलब है कि रोबोट्स इस पैथ को क्रॉल कर सकते हैं।

वेबसाइट प्रशासकों को यह अनुमति देता है कि वे वेबसाइट की विशिष्ट भागों को अलग-अलग तरीके से क्रॉल करने की अनुमति दें और वेब रोबोट्स को अपनी साइट की सामग्री को सही तरीके से समझने में मदद कर सकता है।

• Yoast SEO से अपनी वेबसाइट को कैसे रैंक करें?
• Category  टेक ज्ञान
  • Google Play Store में किसी ऐप को कैसे Publish करें?
  • आईटी इंडस्ट्री (IT industry) से पैसे कैसे कमाए?
  • Aartificial intelligence (Ai) से पैसे कैसे कमाए?
  • यूट्यूब वीडियो (Youtube Hot) कैसे बनाएं?
  • वेबसाइट (Create a new website) कैसे बनाये?
  • यूट्यूब चैनल (Youtube Channel) कैसे बनाएं?
  • पैन कार्ड (Pan Card) को कैसे सुधारें और डाउनलोड करें?
  • आधार कार्ड (Aadhar Card) कैसे सुधारें और डाउनलोड करें?
  • गूगल माई बिजनेस (Google My Business) By Bihari Sir
  • वर्डप्रेस (WordPress) क्या है?
  • डोमेन, होस्टिंग और DNS सर्वर क्या है?
  • वेबसाइट पर SEO को कैसे ऑप्टिमाइज़ करें?
  • आर्टिफिशियल इंटेलिजेंस (Ai) संबंधित टूल, फ्रेमवर्क और प्रौद्योगिकियों
  • Google Site Kit WordPress plugin का उपयोग कैसे करें?
  • चैट जीपीटी एआई टूल्स (ChatGPT Ai) से पैसे कैसे कमाएं?
  • गूगल (Google) के बारे में पूरी जानकारी 2024
  • वेबसाइट पर Yoast Seo कैसे सेट करें?
  • सर्वश्रेष्ठ वर्डप्रेस थीम्स (Best WordPress Themes) 2024
  • गूगल एड्स (Google Ads) क्या है?
  • Google publisher Center क्या है?
  • Google my business क्या है?
  • गूगल टैग मैनेजर (Google tag manager) क्या है?
  • गूगल एनालिटिक्स (Google Analytics) क्या है?
  • गूगल सर्च कंसोल (Google Search Console) क्या है? 
  • गूगल ऐडसेंस (Google AdSense) क्या है ?