خزنده گی و شاخص پذیری چیست؟ برای درک بهتر این دو، بیایید از چگونگی شروع نمایه سازی در صفحات موتورهای جستجو شروع کنیم.
موتورهای جستجو برای کسب اطلاعات از یک صفحه جدید یا به روز شده، از خزنده های وب استفاده می کنند، خزنده های یا کراونر ها رباتهایی هستند که هدف آنها پیگیری لینک های صفحات وب با یک هدف واحد است؛ بله، یافتن و فهرست بندی محتوای جدی هر وب سایت. آنطور که گوگل خودش توضیح می دهد: "خزندگان به صفحات وب نگاه می کنند و پیوندها را در آن صفحات دنبال می کنند ، دقیقاً مانند شما اگر در حال مرور محتوای وب هستید. مرورگرها شما را از یک پیوند به پیوند دیگر سوق می دهند. با این تفاوت خزندگان وب اطلاعات مربوط به صفحات وب را به سرورهای Google ارجاع می دهند. " مت کاتس ، کارمند سابق گوگل ،
ویدئویی جالب
را منتشر کرده بود که جزئیات این روند را با جزئیات توضیح داد. به مبحثمان برگردیم؛ به طور خلاصه، هر دو این اصطلاحات مربوط به توانایی موتور جستجوگر برای 1- دسترسی و 2- فهرست کردن صفحات بمنظور اضافه کردن آنها به فهرست عظیم خود است. Crawlability توانایی خزش شدن موتور جستجوگر بمنظور دسترسی به خزیدن محتوای موجود در صفحه می باشد. اگر سایتی مشکلی در قابلیت خزیدن نداشته باشد ، وب سایت های خزنده می توانند با دنبال کردن پیوندها بین صفحات ، به تمام محتوای آن به راحتی دسترسی پیدا کنند. و سرعت این خزیدن مستقیما به خلوت بودن هاستینگ سایت بر می گردد با این وجود ، پیوندهای شکسته یا محدود شده ممکن است منجر به مشکلاتی برای خزنده شوند. عدم توانایی موتور جستجو برای دسترسی به محتوای خاص از یک سایت (که مدیریت شده نباشد و تنها به دلیل مشکلات سرور ایجاد شده باشد) را غیرقابل انعطاف پذیری آن سایت در قبال خزش گرها می گویند که می تواند تاثیرات بدی در رفتار آینده موتور جستجو با سایت داشته باشد، از طرف دیگر ، به توانایی موتور جستجو در تجزیه و تحلیل و افزودن صفحه به فهرست آن شاخص پذیری سایت می گویند. به این معنا که حتی اگر Google بتواند یک سایت را خزش کند ،وماً به معنای این نیست که آن صفحه ایندکس هم میشود و ممکن است گوگل نتواند برخی صفحات را ایندکس کند ، که معمولاً به دلیل مشکلات نمایه سازی این اتفاق می افتد. اما چه چیزی بر خزنده بودن و شاخص پذیری تأثیر می گذارد؟
ساختار سایت: ساختار اطلاعاتی وب سایت نقش مهمی در قابل خزش بودن آن ایفا می کند. به عنوان مثال ، اگر سایت شما دارای صفحاتی است که از جاهای دیگر به آنها پیوندی داده نشود، یحتمل وب سایتهای خزنده در دسترسی به آنها مشکل داشته باشند. البته، آنها هنوز هم می توانند این صفحات را از طریق لینک های خارجی پیدا کنند، ولی خوب این که کی این اتفاق بیفتد قابل پیش بینی نیست. چرا که مشروط بر اینست که کسی به آنها در محتوای پیوند برقرار کند. و این ساختار ضعیف می تواند باعث بروز مشکلات خزنده شود.
ساختار لینک داخلی: یک خزنده وب با پیوندهایی که برخورد می کند سفری را در داخل وب آغاز می کند، این سفر وب با یک ساختار لینکی بد در سایت شما این سفر می تواند خیلی زود به پایان برسد. چرا که خزنده ها فقط می توانند صفحاتی را پیدا کنند که به سایر مطالب و صفحات پیوند داشته باشند. بنابراین یک ساختار پیوند داخلی خوب به شما این امکان را می دهد که به سرعت به تمام صفحه هایی که در ساختار سایت شما پیش بینی شده است برسد. و ساختار ضعیف ممکن است آن را به بن بست برساند ، در نتیجه یک خزنده وب برخی از محتوای شما را از دست بدهد.
تغییر مسیرهای بی دلیل که موجب ایجاد یک حلقه هدایت تکراری شود باعث می شود یک خزنده وب در آهنگ های خود متوقف شود و ضمن از دست دادن فرصت بررسی سایر پیوندها این اتفاق می تواند منجر به بروز مشکلات دیگری هم برای خزنده بشود.
خطاهای سروری: به همین ترتیب؛ تغییر مسیرهای سرورهای خراب و بسیاری دیگر از مشکلات مرتبط با سرور ممکن است از دسترسی خزندگان وب به همه محتوای شما جلوگیری کند.
اسکریپت های پشتیبانی نشده و سایر عوامل تکنولوژیک نیز ممکن است مشکلات Crawlability د را بیشتر کند، به عنوان مثال، از آنجا که خزنده ها نمی توانند فرم ها را پاسخ دهند، قرار دادن محتوا در پشت فرم منجر به مشکل دسترسی به محتوا برای خزنده می شود. همچنی اسکریپت های مختلف Javascript همچون Ajax ممکن است راه های دسترسی به محتوا را برای خزنده های وب مسدود کنند.
و بالاخره مسدود کردن دسترسی برای خزنده ها، شما می توانید به طور عمدی خزنده های وب را از فهرست بندی صفحات در سایت خود مسدود کنید. و دلایل خوبی برای انجام این کار هم داشته باشید، به عنوان مثال، شما ممکن است صفحه ای را ایجاد کنید که نمی خواهید دسترسی عمومی به آن ایجاد کنید و می خواهید آن را محدود کنید. و به عنوان بخشی از راه کارهای جلوگیری از دسترسی، شما باید حق دسترسی به آن را از موتورهای جستجو سلب کنید.
مسدود شدن صفحات بصورت ناخواسته نیز به راحتی ممکن است اتفاق بیفتد. به عنوان مثال یک خطای ساده در کد می تواند کل بخش سایت را مسدود کند.
18 دلیل وجود دارد که می تواند از دید خزنده ها رفتار غیر دوستانه تلقی شود که به زودی من این 18 مورد را در مطلبی برای شما فهرست خواهم کرد
و متعاقبا نیز مطلبی برای شما منتشر خواهم کرد با این عنوان که: چگونه می توان وب سایت را برای خزیش و ایندکس شدن نزد جستجوگرها آماده کرد؟
درباره این سایت