در مورد فایل robots.txt چه می دانید و چه اطلاعاتی دارید؟ آیا از موارد و کاربردهای فایل robotx.txt آگاهی دارید؟ در ادامه قصد معرفی فایل robots.txt، دستورات، عملکرد آن را داریم، پس همراهمان باشید.

robots txt چیست

robots.txt چیست؟

فایل ربوتس دات تی ایکس تی در اصل جهت محدود کردن دسترسی ربات های موتورهای جستجو مثل گوگل به متن و محتوا و… سایتتان است. تمام ربات های موتورهای جستجو به صورت خودکار قبل از ورود به هر صفحه یا هر سایتی، از وجود فایل robots.txt و محدودیت های آن اطمینان پیدا کرده و بر اساس آن محتوا و سایت را نمایش می دهند.

تمامی ربات های استاندارد صفحات وب مثل گوگل به مقررات و محدودیت ها عمل می کنند و صفحات را به خواسته شما نمایش داده و ایندکس می کنند و بالعکس ولی لازم به ذکر است بعضی ربات ها توجهی به این نوع فایل ها ندارند، به عنوان مثال ربات هایی مثل spambots malware امنیت سایت تان را بررسی می کند و احتمالا فعالیت و کار خود را از قسمتی شروع می کنند که اجازه دسترسی و دیدن آن قسمت ها و صفحات را ندارند. در واقع با استفاده از فایل robots.txt شما می توانید سایت و صفحات سایتتان را مختص مخاطبین و کاربران سایتتان ایجاد و طراحی کنید و هیچ نگرانی برای محتوای تکراری، لینک های زیاد و… که همگی اثر مخرب و منفی بر سئو و بهینه سازی سایتتان می گذارد نداشته باشید.

اگر شما قصد محدود کردن ربات های گوگل را دارید از فایل ربوتس دات تی ایکس تی استفاده کنید، ولی اگر صفحات وب سایتتان توانایی ایندکس به واسطه ی ربات های جستجو مثل گوگل را داشته باشد احتیاجی به این فایل نخواهد بود. برای خلق و ایجاد فایل robots.txt شما باید به هاست دسترسی داشته باشید و فایل ربوتس دات تی ایکس تی را در ریشه اصلی کپی و نگه داری کنید.

اگر بنا به هر دلیل به هاست دسترسی نداشتید می توانید از تگ های متا در هدر صفحه، دسترسی ربات های جستجو مثل گوگل را محدود و کمتر کنید. دستورات فایل robots.txt و کارکرد آن ها کلا ۲ فرمان اصلی دارد. با استفاده از این ۲ دستور شما می توانید قانون های مختلفی جهت دسترسی ربات موتورهای جستجو به سایت تان ایجاد و برقرار کنید، که این دستورات به شرح زیر می باشد:

*:user-agent

این کد برای هدف به یک ربات مخصوص به کار می رود، اما اگر این کد را برای فایل robots.txt استفاده کنید و هدف شما یک دستور به تمام ربات های خزنده باشد فقط کافی است بعد از user-agent از علامت “*” استفاده کنید. به این شکل:

*:User-agent

این کد به معنی یک دستور برای تمام ربات های جستجو گر می باشد، اما اگر هدف شما دستور به ربات یک مرورگر خاص می باشد مثل ربات گوگل باید این دستور را به شکل خاصی بنوسید. مثل: user-agent:Googlebot
این کد به معنای اجرای دستورات فقط برای ربات های گوگل می باشد.

Disallow:
با استفاده از disallow به ربات های موتورهای جستجو می گوییم که چه فایل هایی از وب سایت شما را نباید بررسی کند، در واقع این کد نشان دهنده صفحه ای است که شما می خواهید از دید ربات ها پنهان نگه دارید. مثلا اگر شما نمی خواهید ربات های موتورهای جستجو عکس های سایتتان را ایندکس کنند، باید تمام عکس ها را در پوشه ای به اسم photos قرار دهید و از دست ربات ها و موتورهای جستجو خارج کنید. برای آن که به موتورهای جستجو دستور ندیدن و ایندکس نکردن عکس های سایت را دهید باید از کد زیر استفاده کنید:

*:user-agent
Disallow:/photos

با استفاده از کدهای بالا به ربات ها اجازه ورود و دسترسی به فایل عکس با اسم photos را نمی دهید. استفاده از دستور user-agent نشان گر آن است که تمام ربات های جستجو گر باید از این فرمان پیروی کنند و قسمت بعد Disallow:/photos بیانگر آن است که ربات ها اجازه دسترسی به فولدر عکس photos و ایندکس آن در سایت را ندارند.

Allow:
موتورهای جستجو مثل گوگل هر کدام ربات های مخصوص به خود دارند مثل Googlebot که معروفترین ربات گوگل می باشد که وظیفه ی بازرسی، بارگذاری و ایندکس صفحات وب را بر عهده دارد. این ربات نسبت به دیگر ربات ها دستورات بیشتر و پیچیده تری متوجه می شود. Googlebot علاوه بر درک دستور user-agent و disallow دستور allow را متوجه می شود.

این دستور به ربات گوگل اجازه مشاهده و ایندکس فایلی که در فایل disallowed قرار دارد را می دهد. برای مثال در قسمت قبل کدی را ایجاد کردیم که به ربات اجازه دسترسی به فایل photos که عکس و تصاویر در آن بود را ندهد، حال تصور کنید در این فایل عکسی به اسم backlink.jpg قرار دارد که می خواهیم آن فایل هم چنان نشان داده نشود و فقط عکس backlink.jpg نشان داده شود، حال این گونه می نویسیم:

*:user-agent
Disallow:/photos
Allow:/photos/backlink.jpg

این کد به ربات اجازه می دهد در فایل photos فقط عکس backlink.jpg را نمایش داده و ایندکس نماید، واجازه دسترسی به دیگر عکس های داخل فولدررا ندارد. شما با ترکیب این ۲ دستور user-agent و disallow می توانید قوانین مختلفی برای دسترسی به عکس، متن و …قسمت های مختلف سایتتان ایجاد کنید. هم چنین می توانید نام هر ربات خزنده را در user-agent مشخص کنید و به آن دستور خاصی دهید.

همان طور که گفته شد google ربات های مخصوص خود را دارد که معروف ترین آن ها Googlebot می باشد که وظیفه ی آن تحقیق و بارگذاری صفحات وب می باشد، هم چنین گوگل رباتی برای ایندکس و بررسی تصاویر دارد که به آن Googlebot-image می گویند.

این دستورات کدهای ساده ای به نظر می آیند اما از طریق آن ها می توان سئو وب سایت را تغییر داد. نکته هائز اهمیت حساس بودن فایل ربوتس دات تی ایکس تی به حروف کوچک و بزرگ در حروف لاتین می باشد که دقت کنید اسم و آدرس صفحات را درست و دقیق وارد کنید. فایل robots.txt در cms وردپرس به صورت پیش فرض وجود دارد و اگر در شرایطی وجود نداشت می توانید با نصب افزونه yoast seo فایل ربوتس دات تی ایکس تی را فعال و ایجاد نمایید.

نتیجه گیری
دقت کنید که استفاده غلط و نادرست از فایل robots.txt ممکن است باعث ضررو زیان به سئو سایتتان شود پس قبل از انجام هرگونه تغییرات در فایلتان بهتر است با مشاور سئو صحبت کنید و از او راهنمایی بگیرید. هم چنین از انجام به روز رسانی های مداوم این فایل خودداری کنید. شاید به روز رسانی های مداوم فایل ربوتس دات تی ایکس تی برای سایت به ظاهر تاثیری نداشته باشد اما در نهایت منجر به پیچیده و سخت شدن دسترسی ربات موتورهای جستجو به سایت می شود.

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.
برای ادامه، شما باید با قوانین موافقت کنید

فهرست