robot txt چیست؟

robot txt چیست؟

در این پست به موضوع robot txt چیست؟ اشاره خواهیم کرد و با کاربرد آن آشنا خواهیم شد پس با سایت چاپ و تبلیغات مرکزی همراه شوید:

فایل robot txt به موتورهای جستجوگر از جمله گوگل، مشخص میکند به کدامیک از بخش‌های سایت دسترسی داشته باشند یا دسترسی نداشته باشند. به زبان ساده تر 

کدام صفحات را در موتورهای جستجو از جمله گوگل نمایش دهند و کدام صفحات را نمایش ندهند.

robots.txt چگونه کار می‌کند؟

 ربات‌های موتورهای جستجوگر مانند گوگل، صفحات سایت را مورد بررسی قرار می‌دهند (اصطلاحا می‌خزند) و براساس معیارها و الگوریتم‌های مختلف، آن‌ها را فهرست می‌کنند. اما قبل از اینکه گوگل و سایر موتورهای جستجوگر شروع به خزیدن سایت‌ها کنند، ابتدا فایل robots.txt را بررسی می‌کنند. چرا که ممکن است یک وب‌سایت مشخص کرده باشد که برخی صفحات نمایش داده نشوند.

چرا فایل Robots.txt مهم است؟

- فایل Robots.txt نقش مهمی در سئو سایت دارد.

-خصوصی نگه داشتن بخش‌هایی از یک وب‌سایت که نمی‌خواهید گوگل آن را ببیند یا ایندکس کند.  اما هیچ تضمینی وجود ندراد که این صفحه در نتایج جستجوی گوگل ظاهر نشود.  امکان دارد ربات‌ها از طریق لینک‌هایی که به همان صفحه داده شده‌اند و کمک گرفتن از همان انکر تکست لینک، صفحه را ایندکس کنند. در حال حاضر بهترین راه برای حذف صفحه‌ای از نتایج جستجو، اضافه کردن دستور noindex در قسمت head صفحه‌ها است.

-جلوگیری از ایندکس شدن برخی فایل‌های خاص در وب‌سایت (تصاویر، PDF و…) توسط موتورهای جستجو

-تعیین محل نقشه سایت

robots.txt  در کجای یک سایت قرار می‌گیرد؟

پیدا کردن فایل robots.txt کار چنداد سختی نیست. فقط کافی‌ست آدرس اصلی سایت خود را بنویسید و به انتهای آن یک robots.txt/ قرار دهید. به این شکل:

http://chapmarkazi.ir/robots.txt



چه دستوراتی در فایل robots.txt وجود دارد؟

User-agent: در این بخش رباتی را که دستورات برای آن نوشته شده را مشخص می‎کنیم.

Disallow: ربات اجازه ندارد این بخش‌ها را بررسی کند.

Allow: ربات می‎تواند این بخش‌ها را درخواست و بررسی کند.

Sitemap: از این دستور برای نشان دادن آدرس فایل نقشه سایت به ربات‌ها استفاده می‎کنیم.

روش‌های SEO برای فایل robots.txt

-مطمئن شوید هیچ محتوا یا بخشی از وب‎سایت خود را که می‌خواهید کرال شود، مسدود نکرده‌اید.

-برای جلوگیری از نمایش داده‌‎های حساس (مانند اطلاعات خصوص کاربر) در نتایج robots.txt استفاده نکنید. با وجود دستور Disallow هنوز ممکن است گوگل صفحه شما را ایندکس کند. اگر می‌خواهید خیال‌تان برای ایندکس نشدن یک صفحه در گوگل راحت شود، از دستورالعمل متنی noindex استفاده کنید.



در این پست از سایت چاپ و تبلیغات مرکزی با robot txt آشنا شدیم و با کاربردها و دستورات مهم درن این فایل آشنا شدیم همچنین شما کاربران محترم میتوانید برای مشاهده دیگر پست های سایت چاپ و تبلیغات مرکزی میتوانید روی این لینک کلیک کنید. (مشاهده دیگر پست ها)

لینک شبکه های اجتماعی

 

-اینستاگرام