در حال حاضر سئو و بهینه‌سازی سایت از جمله موارد مهمی است که به وبسایت شما کمک می‌کند تا در نتایج جستجوی گوگل جایگاه بهتری داشته باشد.
زمانی این رضایت اتفاق می‌افتد که بتوانید رضایت بازدیدکنندگان را جلب و نیاز آنها را برآورده کنید که این کار باعث افزایش ترافیک سایت، افزایش نرخ تبدیل، افزایش فروش محصولات و خدمات می‌شود.
همواره با افزایش رقابت در بستر اینترنت مدیران سایت‌ها تلاش بسیاری می‌کنند تا با استفاده از روش‌های مناسب و مختلفی بتوانند امتیاز بالاتری در گوگل کسب کنند، یکی از روش‌های ساده و البته مهمی که تاثیر زیادی در سئو و بهینه‌سازی سایت دارد ساخت فایل robots.txt می‌باشد.
این فایل به ربات‌های جستجو دستور می‌دهد که کدام یک از صفحات وبسایت را ایندکس کنند. تا انتهای این مقاله با ما همراه باشید تا نحوه بهینه سازی فایل robots.txt را به شما آموزش دهیم.
فایل robots.txt چیست؟
به طور کلی ساخت robots.txt و بهینه سازی آن بسیار به سایت شما کمک می کند تا دسترسی لازم برای موتورهای جستجو را برای دایرکتوری یا همون پوشه‌های موجود در هاست و سایت تعیین کنید تا با اینکار اجازه اینکه موتورهای جستجو می توانند تا چه آدرس‌هایی را مورد بررسی قرار دهند و چه آدرس‌هایی رو نمی توانند بررسی کرده و ایندکس کنند را تعیین کنید.
در اصل یک فایل متنی است که مدیران وبسایت از آن برای هدایت ربات‌های موتور جستجو استفاده می‌کنند و با کمک آن می‌توان نحوه خزیدن و ایندکس صفحات وبسایت را فهرست کرد و مهم‌ترین خاصیت آن در واقع یک حریم خصوصی برای سایت است تا به این وسیله موتورهای جستجو نتوانند تا پوشه‌ای از وبسایت شما که شامل تصاویر خصوصی و فایل هایی که برای شما جنبه خصوصی را دارند بررسی کنند.
و اما برای ربات های جستجوگر هم این امر باعث می شود تا سایت‌هایی که دارای فایل robots.txt هستند را بهتر درک کند و در جاهایی که به آنها دسترسی داده نشده، وارد نشوند. به همین خاطر است که گاهی اوقات میبینیم که وقتی دنبال یک نتیجه از یک سایت هستیم با پیغام “به علت robots txt این سایت توضیحی برای این نتیجه در دسترس نیست” مواجه می شویم.
پس تا اینجا متوجه شده اید که فایل robots.txt این وظیفه را دارد تا دسترسی ربات‌های موتورهای جستجوگر مثل گوگل را به محتویات سایت شما کنترل کند و به مسیرهایی از سایت و هاست که نمی خواهید دسترسی داشته باشند، دسترسی داده نشود.
در واقع ربات‌های جستجوگر به محض ورود به سایت ابتدا این فایل را بررسی می‌کنند تا ببینند به چه دایرکتوری‌هایی دسترسی دارند و بعد از اینکه وظیفه و مسیرشان مشخص شد شروع به بررسی کامل یک سایت می‌کنند.
بهینه سازی فایل robots.txt برای بهبود سئو
از روش‌های ساده و آسانی که می‌توانید برای بهبود و بهینه‌سازی سایت کمک بگیرید از طریق بهینه سازی فایل robots.txt صورت می‌گیرد. با بهینه سازی فایل robots.txt به راحتی می‌توانید به ربات‌های جستجو دستور دهید که فقط صفحات ضروری را پیمایش کنند و از ایندکس کردن صفحات غیرضروری خودداری کنند، با این کار سرعت پیمایش وبسایت توسط ربات‌های جستجو تا اندازه قابل توجهی افزایش می‌یابد و در نتیجه سایت رتبه بالاتری کسب می‌کند.
فایل robots.txt در پوشه اصلی وبسایت شما ذخیره می‌شود و قالب اصلی آن به شکل زیر است:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
شما می‌توانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آنها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم می‌کند.
در ادامه یک نمونه فایل robots.txt را مشاهده خواهید کرد که در آن موتورهای جستجو می‌توانند فایل‌ها را در پوشه آپلودهای وردپرس جستجو و فهرست کنند، اما اجازه خزیدن در افزونه‌ها و همچنین پنل مدیریت وبسایت را نداشته باشند.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
آیا برای سایت های وردپرسی به فایل robots.txt نیاز است؟
کلیه سایت‌ها برای ایندکس شدن توسط موتورهای جستجوی به فایل robots.txt نیاز دارند. اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند.
این عمل زمانی که به تازگی وبسایت خود را راه‌اندازی کرده‌اید و محتوای زیادی در سایت ندارید تاثیر زیادی نخواهد داشت، اما پس از رشد و گسترش وبسایت، توصیه می‌کنیم برای کنترل بهتر و نحوه خزیدن موتورهای جستجو و در نهایت سئوی وردپرس، از فایل robots.txt استفاده کنید.
وجود فایل robots.txt در سایت‌ها از اهمیت بسیاری برخوردار است، ربات‌های جستجو برای هر وبسایت سهمیه خزیدن دارند و تعداد مشخصی از صفحات را در یک جلسه پیشمایش می‌کنند، بنابراین اگر نتوانند کل وبسایت شما را پیمایش کنند، مجددا به سایت شما برگشته و در یک جلسه دیگر ادامه این فرایند را تکمیل می‌کنند.
این روند می‌تواند سرعت ایندکس شدن وبسایت شما را تا اندازه زیادی کاهش دهد که برای برطرف نمودن این مشکل می‌توانید از پیمایش صفحات مدیریت وردپرس، فایل افزونه‌ها و قالب‌ها توسط ربات‌های جستجو جلوگیری کنید، این عمل به موتورهای جستجو کمک می‌کند تا صفحات بیشتری را در سایت شما جستجو، فهرست‌بندی و پیمایش کنند.
یکی دیگر از مزایای استفاده از فایل robots.txt جلوگیری از ایندکس یک پست یا صفحه در وبسایت می‌باشد، این کار امن‌ترین راه برای پنهان‌سازی مطالب از دید کاربران نیست اما به شما کمک می‌کند تا از نمایش آنها در نتایج جستجو جلوگیری کنید.
بهترین فایل robots.txt چگونه است؟
بسیاری از وبسایت‌های معروف از یک فایل robots.txt بسیار ساده استفاده می‌کنند. محتوای این فایل‌ها بسته به نیاز سایت ممکن است متفاوت باشد:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
این کد به ربات‌های جستجو دستور می‌دهد تا کلیه تصاویر و فایل‌های وردپرس را فهرست‌بندی کنند. همچنین با افزودن نقشه سایت به فایل robots.txt جستجوی کلیه صفحات سایت خود را برای ربات‌های گوگل آسان‌تر می‌کند.
تست فایل robots.txt
همیشه بهتر است پس از ساخت فایل robots.txt آن را تست نموده از صحت عملکرد آن اطمینان حاصل کنید. ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم. ابتدا می‌بایست به صفحه Google Search Console وارد شوید.از بخش Web tools گزینه Testing Tools را انتخاب کرده تا خطاها و هشدارهای احتمالی را به شما نشان دهد.
بهینه سازی فایل robots.txt
امروزه با رشد روز افزون کسب و کارهای اینترنتی رقابت سختی میان وبسایت‌ها درگرفته است و مدیران سایت‌ها همواره در تلاشند تا سایت خود را جزو نتایج اولیه در گوگل نمایش دهند. متدها و راهکارهای بسیاری در این زمینه وجود دارند که یکی از این موارد با کمک بهینه سازی فایل robots.txt انجام می‌شود.
به طور کلی فایل robots.txt از دو دستور و قانون پیروی میکنه که عبارتند از:
User-agent: این دستور نشان دهنده اینه که میتونید تعیین کنید چه نوع رباتی قادر به دسترسی به دایرکتوری‌های تعیین شده در هاست شما خواهد بود. منظور از نوع ربات اینه که ربات کدوم سایت و یا موتور جستجو میتونه تا از این دستورات پیروی کنه
Disallow: این دستور هم نشون دهنده اینه که ربات اجازه ورود به چه مسیرهایی در هاست شما را نخواهد داشت.
بنابراین شما با استفاده از این دو دستور میتونید تا قوانین مختلفی را برای هریک از ربات‌های موتورهای جستجو و سایت‌ها تعیین کنید تا عدم دسترسی به دایرکتوری‌های گوناگون در هاست خودتون را تعیین کنید.
اما برای استفاده از هر ربات ابتدا لازمه تا با لیست ربات‌هایی که تا به امروز ساخته شدند آشنا شوید. برای این کار میتونید با کلیک روی دکمه زیر کلیه ربات‌های اینترنتی که تا به امروز برای خزش سایت‌ها ساخته شدند دسترسی داشته باشید.
مشاهده کلیه ربات‌های اینترنتی
User-agent: با استفاده از این دستور میتونید تا یک قانون را برای همه ربات ها و یا یک ربات خاص تعیین کنید. به عنوان مثال اگر شما داخل هاستتون پوشه ای با نام private دارید و میخواین که دسترسی به این پوشه برای کلیه ربات‌ها فراهم نباشه کافیه تا در سطر اول User-agent را وارد کرده و مقدار اون را روی کاراکتر * تعیین کنید و بعدش با دستور /disallow: /private دسترسی به این پوشه را برای کل ربات‌ها غیرفعال کنید.
در این صورت هر رباتی که وارد سایت شما بشه از این قانون تبعیت کرده و وارد پوشه private در هاست شما نخواهد شد. پس به صورت کلی ساختاری که برای این حالت تعیین می‌کنید باید دستور زیر را در فایل robots.txt وارد کنید. برای این کار کافیه تا روی فایل robots.txt که در هاست شما قرار داره راست کلیک کرده و گزینه Edit را انتخاب کنید.
User-agent: *
Disallow: /private/
