آموزش بخش Crawl (خزنده یا ربات) در گوگل وبمستر

ارسال در تاریخ 1394/10/08 00:03

این منو وضعیت ربات گوگل را هنگامی که به سایت شما مراجعه می کند نمایش می دهد. شما در این منو خطاهایی را که روبات گوگل با آنها برخورد کرده را می توانید ببینید.

یکی از مهمترین بخش ها در سرویس گوگل وبمستر، بخش crawl یا در زبان فارسی خزنده است. همانطور که می دانید گوگل برای اینکه تغییرات سایت های مختلف را در کش خود ذخیره کند تا در نتایج جستجو نمایش دهد. ربات یا همان خزنده را به دفعات (بستگی به میزان اهمیت و رنک سایت ، نظم در آپدیت مطالب و ...) به سایت شما می فرستد. این ربات وضعیت برخورد خود با صفحات سایت شما را در سرویس گوگل وبمستر در این بخش نمایش می دهد. حالا با این مقدمه به بررسی بخش های این منو خواهیم پرداخت.

نکته: این بخش جز بخش هایی است که حتما روزانه باید چک کنید و خطاهای نمایش داده شده را تصحیح کنید.

حالا در منو سمت چپ وبمستر تولز بر روی منو Crawl کلیک کرده تا زیر منو های آن نمایش داده شوند:

بخش Crawl Errors

حالا بر روی منو Crawl Errors کلیک کنید تا صفحه زیر باز شود.

همانطور که در تصویر بالا می بینید در بالای صفحه 3 بخش با عناوین زیر دیده می شود.

DNS
- این بخش خطاهای مربوط به دی ان اس سایت را نمایش می دهد. در صورتی که در این بخش خطاها را در روزهای متعدد می بینید، حتما از پشتیبانی هاست و سرور خود این وضعیت را پیگیری کنید. در صورت تکرار این خطاها، اعتماد گوگل به سایت شما کم خواهد شد.
Server Connectivity
- این بخش نیز همانند بخش DNS با پشتیبان هاست خود مرتبط است و نمایانگر وضعیت اتصال روبات به هاست است. این مورد را نیز در صورت خطا پیگیری کنید.
Robots.txt fetch
- فایل Robots.txt یک فایل متنی حاوی لیستی از صفحاتی است که معمولا نباید در گوگل ایندکس شوند. این فایل در پایین‌ترین سطح سایت شما وجود دارد؛ مثلا برای سایت seo.neper.ir در آدرس seo.neper.ir/robots.txt قابل مشاهده است. این فایل نقش مهمی در جریمه نشدن سایت شما توسط گوگل دارد. به عنوان مثال شما صفحاتی که کاربر در حالت لاگین می بیند را باید در این لیست قرار دهید چون روبات گوگل دسترسی به اطلاعات آنها ندارد و یا صفحه نتایج جستجو جز صفحاتی هست که نباید در گوگل ایندکس شود.

بخش URL Errors

به پایین‌تر صفحه بیایید تا به این بخش برسید:

همانطور که می بینید این بخش شامل 2 بخش کلی است:

Desktop
- شما در این بخش خطاهایی را می بینید که در کامپیوترها و لپ تاپ‌ها دیده شده است.
Smartphone
- این بخش شامل خطاهایی است که در تلفن‌های همراه و تبلت‌ها دیده شده است.

نکته: وضعیت خطاهای زیر هر دو بخش شبیه هم هستند و آموزش یک بخش کفایت می کند.

همانطور که در تصویر بالا می بینید این سایت در 3 بخش در حالت Desktop دارای خطا است.

Soft 404

در آماری که مشاهده می کنید این سایت در این بخش 231 خطا دارد. این خطاها شامل صفحاتی است که خطای 404 می دهد و یا همان صفحاتی که ممکن است روزی در سایت بوده باشند و توسط شما حذف شده اند. ممکن است حتی این صفحات در سایت شما و یا دیگران اشتباهی لینک داده شده باشند.

Access Denied

این بخش خطاهایی را نمایش می دهد که ربات گوگل دسترسی به انها نداشته است. همان صفحاتی که باید در robots.txt اضافه شوند.

حتی ممکن است شما در صفحه ای لینکی را استفاده کرده باشید که به یک صفحه پیوند شده باشد که گوگل دسترسی ندارد.

Not Found

این بخش نیز شامل صفحاتی است که به نوعی خطای 404 می دهند . ممکن است تصاویر نیز در این لیست باشند. مثلا تصاویری که از سرور خود پاک کرده اید و گوگل قبلاً آنها را ایندکس کرده است.

Other

سایر خطاها در این بخش قابل مشاهده است.

چگونه خطاها در Crowl Errors را رفع کنم؟

در بالا به ماهیت خطاها پرداختیم. حالا برای رفع این خطاها به شکل زیر عمل کنید:

بر روی یکی از خطاها کلیک کنید تا پنجره زیر باز شود:

در بالای پنجره باز شده، آدرس صفحه ای که دارای خطا می‌باشد را می بینید با کلیک بر روی آن می توانید وارد صفحه شوید.

در پایین‌تر در زیر بخش Errors Details می توانید به ترتیب :

تاریخ آخرین باری که خطا دیده شده است.

تاریخ اولین باری که خطا دیده شده است.

توضیحی در مورد خطا و علت آن را مشاهده کنید.

در کنار بخش Errors Details، تب دیگری با عنوان Linked From وجود دارد که با کلیک بر روی آن لیست صفحات و سایت‌هایی دیده می شود که صفحه دارای خطا در آن صفحه پیوند شده است.

حالا شما باید توسط توضیحی که گوگل داده و آدرسی که در این بخش مشاهده می کنید به حل مشکل بپردازید.

بعد از رفع مشکل در پایین پنجره بر روی کلید Mark As Fixed کلیک کنید تا گوگل متوجه رفع خطا توسط شما بشود.

نکته: در این بخش، خطاهای حداکثر 3 روز قبل قابل مشاهده است. پس ممکن است شما امروز خطا را درست کنید اما فردا هم این خطا را ببینید. گوگل 3 روز بعد متوجه رفع خطا توسط شما می شود.

پنجره را ببندید. در لیست خطاها نیز شما می توانید . صفحات را کلی انتخاب و بر روی کلید mark as fixed کیلک کنید.

نکته: برخی خطاها ممکن است در صفحات مشابهی اتفاق افتاده باشد مثلا در تمامی صفحات مربوط جزئیات خبر سایت شما ، در این حالت معمولا در یک صفحه مشکل را حل می‌کنید و کل صفحات از این نوع را نیز می توانید mark as fixed کنید.

مهمترین منو در زیر منو Crawl را مرور کردیم.

بخش Crawl Stats

بر روی منو فوق کلیک کنید تا وارد صفحه زیر شوید:

در این صفحه شما 3 نمودار مشاهده می کنید که در کنار هر کدام مقادیری به عدد نوشته شده است که به ترتیب زیر است:

نمودار تعداد صفحات دیده شده توسط ربات گوگل بر اساس روز (Pages crawled per day)

در این بخش نمودار تعداد صفحاتی که ربات گوگل در روز مشاهده کرده را در سمت چپ مشاهده می کنید. در سمت راست بیشترین ، میانگین و کمترین مقدار را مشاهده می کنید

نکته:تعداد دفعات مراجعه بستگی به تعداد محتواهایی دارد که شما در روز بارگزاری می کنید و یا تعداد صفحات و مطالبی که در سایت شما زیاد می شود. گوگل به مرور زمان تعداد مراجعه را به نسبت آنها کم یا زیاد می کند. روزهایی که ربات گوگل مراجعه بیشتری داشته است به احتمال زیاد شما تغییری در سایت خود داشته اید.

نمودار کیلوبایت حجم پهنای باند استفاده شده توسط ربات گوگل بر اساس روز (Kilobytes downloaded per day)

این بخش شامل نموداری از پهنای باند استفاده شده توسط گوگل دارد. هرچه تعداد مراجعه ربات بیشتر باشد این حجم به نسبت زیاد می شود. این بخش از آنجا اهمیت دارد که برای گوگل میزان سرعت سایت اهمیت دارد. هرچه حجم دیتای بیشتری دانلود کند پس صفحه شما سنگین تر است قاعدتا سرعت لود صفحه کم است.

نمودار زمان دانلود صفحات توسط روبات گوگل بر اساس روز ((Time spent downloading a page (in milliseconds)

این بخش نیز در ارتباط با بخش قبلی است. سرعت دانلود صفحات را نمایش می‌دهد. در سمت راست نیز بیشترین ، میانگین و کمترین زمان لود را مشاهده می کنید

نکته: ممکن است در روز هایی که ترافیک سایت شما بیشتر باشد(بازدید کننده بیشتری داشته باشید) سرعت لود پایین تری داشته باشید. در این حالت یا باید منابع هاست خود را افزایش دهید و یا حجم صفحات خود و تعداد رکوئست ها را کاهش دهید.

بخش فراخوانی گوگل (Fetch as Google)

در این بخش شما می توانید صفحه ای که در گوگل هنوز ایندکس نشده را وارد کنید تا زودتر در گوگل ایندکس شود.

گوگل صفحه را به اصطلاح fetch می کندو آماری از زمان لود صفحه و وضعیت آن به شما نمایش می دهد.

بخش تست robots.txt یا تستر فایل روبات (robots.txt Tester)

این صفحه متن فایل robots.txt شما را نمایش می دهد و در صورتی که خطایی در آن باشد به شما نمایش می‌دهد. شما همچنین می توانید متن فایل را خود کپی کنید و یا آدرس فایل روبات را وارد کنید تا گوگل آن را تست کند.

بخش نقشه سایت (Sitemaps)

نقشه سایت یک فایل متنی از نوع xml است که مشخص کننده عنوان، آدرس صفحه، مدت زمان مراجعه بعدی روبات گوگل به این صفحه و ... در آن مشخص می شود.

گوگل از این فایل جهت پی بردن به ساختار سایت شما و همچنین سرعت در ایندکس کردن مطالب سایت استفاده می کند.

در این بخش شما تعداد صفحاتی که در سایت مپ (sitemap) وارد کرده اید و همچنین تعدادی که توسط گوگل ایندکس شده را مشاهده خواهید کرد. ضمنا اگر در فایل مذکور خطایی وجود داشته باشد در این بخش به شما نمایش داده خواهد شد.

با مطالعه مقاله زیر می توانید این فایل را ایجاد کنید.

روش ساخت نقشه سایت گوگل (google sitemap)

بعد از ایجاد فایل نقشه سایت، بر روی کلید ADD/TEST SITEMAP که در تصویر بالا مشاهده می کنید کلیک کرده و آدرس نقشه سایت را وارد کنید.

در صورتی که آدرس وارد شده صحیح باشد نقشه سایت در لیست زمانی گوگل برای بررسی قرار می گیرد. بعد از یک تا چند روز تغییرات را در این بخش می توانید مشاهده کنید.

گوگل آماری از تعداد نقشه های سایت و تعدادی که در گوگل ایندس شده به شما نمایش می دهد.

بخش پارامترهای آدرس (URL Parameters)

در این صفحه پارامترهایی که در آدرس صفحات متعدد سایت استفاده شده را به شما نمایش می‌دهد.

به عنوان مثال معمولا برای صفحه بندی لیست ها از پارامتر page در آدرس‌ها استفاده می شود و یا برای جزئیات مطلب و یا گروه‌بندی‌ها ممکن است از عبارت id استفاده شود به شکل زیر:

http://domain.com/newslist?page=2

http://domain.com/news/detail?id=54656

برای گوگل اهمیت دارد که این پارامتر ها چه کاربردی دارد؛ پس در صورتی که شناختی از آنها ندارید این بخش را ویرایش نکنید؛ چون ممکن است عواقب بدی برای سایت شما داشته باشد.

خوب در این مطلب سعی کردیم که بخش Crwal را که یکی از مهمترین بخش ها در سرویس گوگل وبمستر تولز است را بیان کنیم. در مقالات بعدی به ترتیب اولویت بخش های دیگر را آموزش خواهیم داد.