Semalt بوٹس ، مکڑیوں اور کرالروں سے نمٹنے کے طریقے کے بارے میں نکات مہیا کرتا ہے

سرچ انجن کے دوستانہ یو آر ایل بنانے کے علاوہ ، .htaccess فائل ویب ماسٹروں کو مخصوص بوٹس کو اپنی ویب سائٹ تک رسائی سے روکنے کی اجازت دیتی ہے۔ ان روبوٹس کو مسدود کرنے کا ایک طریقہ روبوٹ ڈاٹ ٹی ایس ٹی فائل کے ذریعے ہے۔ تاہم ، سیملٹ کسٹمر کامیابی مینیجر ، راس باربر نے بتایا ہے کہ اس نے کچھ کرالروں کو اس درخواست کو نظرانداز کرتے ہوئے دیکھا ہے۔ ایک بہترین طریقہ یہ ہے کہ .htaccess فائل کو اپنے مواد کو انڈیکس کرنے سے روکنے کے لئے استعمال کریں۔

یہ بوٹس کیا ہیں؟

وہ ایک قسم کا سافٹ ویئر ہے جسے سرچ انجنوں نے انٹرنیٹ سے انڈیکسنگ کے مقاصد کے لئے نئے مواد کو حذف کرنے کے لئے استعمال کیا ہے۔

وہ مندرجہ ذیل کام انجام دیتے ہیں۔

  • ایسے ویب صفحات ملاحظہ کریں جن سے آپ لنک ہوئے ہیں
  • غلطیوں کے ل your اپنے HTML کوڈ کو چیک کریں
  • وہ بچاتے ہیں کہ آپ کس ویب صفحات سے لنک کر رہے ہیں اور یہ دیکھیں کہ آپ کے مواد سے کون سے ویب صفحات منسلک ہوتے ہیں
  • وہ آپ کے مواد کو انڈیکس کرتے ہیں

تاہم ، کچھ بوٹس بدنیتی پر مبنی ہیں اور آپ کی سائٹ کو ای میل پتوں اور فارموں کے لئے تلاش کرتے ہیں جو عام طور پر آپ کو ناپسندیدہ پیغامات یا اسپام بھیجنے کے لئے استعمال ہوتے ہیں۔ دوسرے تو حتی کہ آپ کے کوڈ میں سیکیورٹی کی خرابیاں تلاش کرتے ہیں۔

ویب کرالروں کو روکنے کے لئے کیا ضرورت ہے؟

.htaccess فائل کو استعمال کرنے سے پہلے ، آپ کو درج ذیل چیزوں کو چیک کرنے کی ضرورت ہے۔

1. آپ کی سائٹ کو اپاچی سرور پر چلنا چاہئے۔ آج کل ، یہاں تک کہ وہ ویب ہوسٹنگ کمپنیاں بھی اپنی ملازمت میں آدھے مہذب ، آپ کو مطلوبہ فائل تک رسائی فراہم کرتی ہیں۔

You. آپ کو اپنی ویب سائٹ کے خام سرور نوشتہ جات تک رسائی حاصل کرنی چاہئے تاکہ آپ یہ معلوم کرسکیں کہ آپ کے ویب صفحات پر بوٹس کیا جا رہے ہیں۔

نوٹ کہ وہاں کوئی بھی راستہ نہیں ہے جب تک آپ تمام نقصان دہ بوٹوں کو روکنے کے قابل نہ ہوں ، جب تک کہ آپ ان سب کو مسدود نہ کریں ، حتی کہ آپ ان کو مددگار سمجھتے ہو۔ ہر دن نئے بوٹس آتے ہیں ، اور بڑی عمر کے افراد میں ترمیم کی جاتی ہے۔ سب سے موثر طریقہ یہ ہے کہ آپ اپنے کوڈ کو محفوظ بنائیں اور بوٹس کے لئے آپ کو اسپام کرنا مشکل بنائیں۔

بوٹس کی شناخت

بوٹس کی شناخت یا تو IP ایڈریس کے ذریعہ ہوسکتی ہے یا پھر ان کے "یوزر ایجنٹ سٹرنگ" سے ، جسے وہ HTTP ہیڈروں میں بھیجتے ہیں۔ مثال کے طور پر ، گوگل "گوگل بوٹ" استعمال کرتا ہے۔

اگر آپ کے پاس پہلے ہی اس بوٹ کا نام موجود ہے تو آپ کو اس فہرست میں 302 بوٹس کی ضرورت ہوسکتی ہے۔

دوسرا طریقہ یہ ہے کہ سرور سے تمام لاگ فائلوں کو ڈاؤن لوڈ کریں اور ٹیکسٹ ایڈیٹر کا استعمال کرکے ان کو کھولیں۔ سرور پر ان کا مقام آپ کے سرور کی تشکیل کے لحاظ سے تبدیل ہوسکتا ہے۔ اگر آپ انہیں نہیں ڈھونڈ سکتے ہیں تو اپنے ویب ہوسٹ سے مدد لیں۔

اگر آپ جانتے ہیں کہ کون سا پیج ملاحظہ کیا گیا تھا ، یا وزٹ کا وقت ہے تو ، ناپسندیدہ بوٹ کے ساتھ آنا آسان ہے۔ آپ ان پیرامیٹرز کے ساتھ لاگ فائل کو تلاش کرسکتے تھے۔

ایک بار ، آپ نے نوٹ کیا ہے کہ آپ کو کون سے بوٹس بلاک کرنے کی ضرورت ہے۔ پھر آپ ان کو .htaccess فائل میں شامل کرسکتے ہیں۔ براہ کرم نوٹ کریں کہ بوٹ کو مسدود کرنا اس کو روکنے کے لئے کافی نہیں ہے۔ یہ ایک نیا IP یا نام لے کر واپس آسکتا ہے۔

انہیں کیسے روکیں

.htaccess فائل کی ایک کاپی ڈاؤن لوڈ کریں۔ اگر ضرورت ہو تو بیک اپ بنائیں۔

طریقہ 1: IP کے ذریعہ مسدود کرنا

اس کوڈ کا ٹکڑا IP ایڈریس 197.0.0.1 کا استعمال کرتے ہوئے بوٹ کو روکتا ہے

آرڈر انکار ، اجازت دیں

197.0.0.1 سے انکار کریں

پہلی لائن کا مطلب یہ ہے کہ سرور آپ کی مخصوص نمونوں سے مماثل تمام درخواستوں کو مسدود کردے گا اور دوسرے کو اجازت دے گا۔

دوسری لائن سرور کو 403: ممنوع صفحہ جاری کرنے کو بتاتی ہے

طریقہ 2: صارف کے ایجنٹوں کے ذریعہ مسدود کرنا

سب سے آسان طریقہ اپاچی کے دوبارہ لکھنے والے انجن کو استعمال کرنا ہے

دوبارہ لکھیں انجین آن

RewritCond٪. HTTP_USER_AGENT ot BotUserAgent

ری رائٹر رول - [ایف ، ایل]

پہلی لائن اس بات کو یقینی بناتی ہے کہ دوبارہ لکھنا ماڈیول فعال ہے۔ لائن دو وہ شرط ہے جس پر قاعدہ لاگو ہوتا ہے۔ لائن 4 میں "F" سرور کو 403 واپس کرنے کو کہتا ہے: حرام ہے جبکہ "L" کا مطلب یہ آخری قاعدہ ہے۔

اس کے بعد آپ اپنے سرور پر .htaccess فائل اپ لوڈ کریں گے اور موجودہ فائل کو اوور رائٹ کردیں گے۔ وقت کے ساتھ ، آپ کو بوٹ کا آئی پی اپ ڈیٹ کرنے کی ضرورت ہوگی۔ اگر آپ غلطی کرتے ہیں تو ، آپ نے جو بیک اپ بنایا ہے اسے اپلوڈ کریں۔