آموزش کسب و کار اینترنتی

در اختیار گرفتن موتورهای جستجوگر فهرست بندی از الگوریتمهای پیچیده ریاضی برای تفسیر اینکه کاربر در چه وب سایتهایی جستجو می کند استفاده می کند. در این نمودار ، اگر هر حباب یک وب سایت را نشان دهد ، برنامه هایی که بعضا عنکبوت نامیده می شوند بررسی می کنند که کدام سایت ها به کدام سایت ها پیوند دارند ، با فلش هایی که این لینک ها را نشان می دهند. فرض بر این است که وب سایت هایی که پیوندهای ورودی بیشتری دارند یا پیوندهای قوی تری دارند ، مهم تر هستند و آنچه کاربر در جستجوی آن است. در این مثال ، از آنجا که وب سایت B دریافت کننده پیوندهای ورودی زیادی است ، در جستجوی وب رتبه بسیار بالایی را کسب می کند. و پیوندها "از طریق" انجام می دهند ، به گونه ای که وب سایت C ، حتی اگر تنها یک لینک ورودی داشته باشد ، از یک سایت بسیار مشهور (B) پیوند ورودی دارد در حالی که سایت E ندارد. توجه: درصد ها گرد شده اند. موتورهای جستجوی پیشرو ، مانند گوگل ، بینگ و یاهو! از خزنده ها برای یافتن صفحات برای نتایج جستجوی الگوریتمی خود استفاده می کنند. صفحاتی که از سایر صفحات فهرست شده موتور جستجو پیوند دارند ، نیازی به ارسال ندارند زیرا به صورت خودکار پیدا می شوند. Yahoo! دایرکتوری و DMOZ ، دو دایرکتوری اصلی که به ترتیب در سال 2014 و 2017 بسته شدند ، هم به ارسال دستی و بررسی سرمقاله انسانی نیاز داشتند. [41] گوگل کنسول جستجوی Google را ارائه می دهد ، که برای آن می توانید یک فید XML نقشه سایت ایجاد و ارسال کنید تا اطمینان حاصل شود که تمام صفحات در آن یافت می شوند ، به خصوص صفحاتی که علاوه بر کنسول ارسال URL خود ، پیوندهای [42] به طور خودکار قابل کشف نیستند. [43 ] یاهو! سابقاً یک سرویس ارسال پولی را اجرا می کرد که خزیدن هزینه را برای هر کلیک تضمین می کرد ؛ [44] با این حال ، این عمل در سال 2009 قطع شد. خزندگان موتور جستجو هنگام خزیدن یک سایت ممکن است به عوامل مختلفی نگاه کنند. هر صفحه توسط موتورهای جستجو فهرست بندی نمی شود. فاصله صفحات از فهرست اصلی سایت نیز می تواند عاملی برای خزیدن یا نبودن صفحات باشد. [45] امروزه ، بیشتر افراد با استفاده از یک دستگاه تلفن همراه در Google در حال جستجو هستند. [46] در نوامبر سال 2016 ، گوگل تغییر عمده ای در نحوه خزیدن وب سایت ها ایجاد کرد و شروع به ساختن فهرست اول موبایل خود کرد ، این بدان معناست که نسخه موبایل یک وب سایت داده شده به نقطه شروع آنچه گوگل در فهرست آنها قرار دارد تبدیل می شود. [47] در ماه مه سال 2019 ، گوگل موتور ارائه دهنده خزنده خود را به روز کرد تا آخرین نسخه Chromium باشد (74 در زمان اعلام). گوگل اعلام کرد که آنها مرتباً موتور ارائه دهنده Chromium را به آخرین نسخه به روز می کنند. [48] در دسامبر سال 2019 ، Google شروع به روزرسانی رشته User-Agent از خزنده خود برای بازتاب آخرین نسخه Chrome استفاده شده توسط سرویس ارائه آنها کرد. تأخیر این بود که به وقت وب مسترها اجازه داده شود تا کد خود را که به رباتهای خاص کاربر عامل معرفی شده است ، به روز کنند. گوگل ارزیابی هایی را انجام داد و احساس اطمینان کرد که تأثیر آن جزئی خواهد بود. [49] جلوگیری از خزیدن مقاله اصلی: استاندارد محرومیت از روبات ها برای جلوگیری از محتوای نامطلوب در فهرست های جستجو ، وب مسترها می توانند به عنکبوتها دستور دهند تا از طریق پرونده استاندارد robots.txt در فهرست اصلی دامنه ، برخی فایلها یا فهرستها را خز نکنند. علاوه بر این ، یک صفحه با استفاده از برچسب متا اختصاصی برای روبات ها ، می تواند صریحاً از پایگاه داده موتور جستجو خارج شود (معمولاً <meta name = "روبات" محتوا = "noindex">). هنگامی که یک موتور جستجو از یک سایت بازدید می کند ، robots.txt که در فهرست اصلی قرار دارد ، اولین فایل خزنده است. پرونده robots.txt تجزیه و تحلیل می شود و به این روبات دستور می دهد که در کدام صفحه ها خزیده نشود. از آنجا که یک خزنده موتور جستجو می تواند نسخه ای از این پرونده را ذخیره کند ، ممکن است در برخی مواقع صفحات را خزنده کند که یک مدیر وب سایت آرزو نداشته باشد. صفحاتی که معمولاً از خزیدن جلوگیری می شوند شامل صفحات خاصی برای ورود به سیستم مانند سبد خرید و محتوای خاص کاربر مانند نتایج جستجو از جستجوهای داخلی هستند. در مارس 2007 ، گوگل به وب مسترها هشدار داد که از جلوگیری از فهرست بندی نتایج جستجوی داخلی جلوگیری کنند زیرا این صفحات به عنوان اسپم جستجو در نظر گرفته شده اند. [50] افزایش برجستگی انواع روشها می تواند باعث افزایش برجستگی یک صفحه وب در نتایج جستجو شود. ارتباط متقابل بین صفحات همان وب سایت برای ارائه لینک های بیشتر به صفحات مهم ممکن است باعث بهبود دیداری آن شود. [51] نوشتن محتوا که شامل عبارت کلمات کلیدی اغلب جستجو می شود ، به طوری که مربوط به طیف گسترده ای از نمایش داده های جستجو باشد ، باعث افزایش ترافیک خواهد شد. [51] به روزرسانی مطالب به منظور جلوگیری از خزیدن موتورهای جستجو ، می تواند وزن بیشتری به یک سایت وارد کند. اضافه کردن کلمات کلیدی مربوط به ابرداده یک صفحه وب ، از جمله برچسب عنوان و توضیحات متا ، باعث می شود تا ارتباط لیست های جستجوی سایت بهبود یابد و بدین ترتیب ترافیک افزایش یابد. کانونیالیزاسیون URL صفحات وب که از طریق چندین URL قابل دسترسی است ، با استفاده از عنصر پیوند کانونی [52] یا از طریق 301 تغییر مسیر می تواند به اطمینان حاصل شود که پیوندها به نسخه های مختلف URL ، همه به نمره محبوبیت پیوند صفحه در نظر گرفته می شوند. کلاه سفید در مقابل تکنیک های کلاه سیاه تکنیک های SEO می تواند به دو دسته گسترده تقسیم شود: تکنیکی که شرکت های موتور جستجو به عنوان بخشی از طراحی خوب ("کلاه سفید") توصیه می کنند ، و آن دسته از تکنیک هایی که موتورهای جستجو آنها را تأیید نمی کنند ("کلاه سیاه") . جستجو