دنیای وب منبع عظیمی از اطلاعات است که روزبهروز برحجم آن افزوده میشود. در حال حاضر میلیاردها صفحه که اطلاعات فراوانی از موضوعات مختلف را در بر دارند، بر روی سرورهای مختلف جا خوش کرده اند. این در حالیست که تولد سایتهای جدید و گسترش سایتهای موجود نیز به طور فزاینده ای به این حجم اطلاعات می افزاید. نرخ رشد اطلاعات تا بدانجاست که امروزه مشکل دسترسی به اطلاعات جدی تر از نبود اطلاعات است. امروزه چالش عمده اکثر کاربران دستیابی به اطلاعات است. به عبارت دیگر اگر کاربری دنبال موضوعی خاص باشد، کدام صفحه را باید بخواند؟ از میان این تعداد عظیم صفحات موجود، کدام صفحه نیاز او را برآورده می کند؟
اگر سایتی باشد که به کاربران در یافتن اطلاعات کمک کند، قطعا مورد توجه خواهد بود. خوشبختانه چنین سایتی وجود دارد و ما آنرا با نام موتور جستجو گر می شناسیم.
موتور جستجوگر سایتی است که برای کمک به کاربران در یافتن اطلاعات موجود در سایتهای دیگر طراحی شده است. موتور جستجوگر سایتی است که با گرفتن عبارتی مختصر، کاربر را با لیستی از سایت ها روبرو میکند که به موضوع مورد علاقه او مرتبط میباشند
آمارها نشان می دهند که افراد بسیاری سفر در دنیای وب را با موتورهای جستجوگر آغاز میکنند و مراجعه به موتورهای جستجوگر چنان عادی شده است که جستجو کردن و کار با موتورهای جستجوگر، دومین فعالیت عمده کاربران در دنیای وب (بعد از ارسال و دریافت نامه های الکترونیکی)، محسوب می شود.
هر چه بر محبوبیت وب افزوده می گردد، نیاز به بایگانی کردن اطلاعات آن نیز بیشتر میشود؛ موتور جستجوگر نیز در واقع این اطلاعات را بایگانی کرده، در زمان مورد نیاز و به سرعت در اختیار کاربران قرار میدهد. بدون موتور جستجوگر، وب تنها به بخش کوچکی از موفقیت امروزین خود دست مییافت زیرا موتور جستجوگر، اینترنت را به رسانهای قابل استفاده برای همه کرده است (از هیچ کس توقع نمیرود تعداد زیادی از آدرس های وب را به یاد داشته باشد).
آن چه که موتورهای جستجوگر انجام می دهند- با درجات متفاوتی از موفقیت- فراهم کردن یک وسیله جستجوی ساده است. وقتی یک کاربر وب عبارتی را جستجو میکند، موتور جستجوگر لیستی از سایت ها را ارائه میکند که تعداد آنها از چند صد مورد تا چند میلیون متغیر میباشد.
سایت هایی که موتور جستجوگر به عنوان نتایج جستجویش ارایه میکند، بر حسب میزان ارتباط با عبارت جستجو شده به ترتیب نزولی لیست میشوند. به عبارت دیگر سایتی که به عنوان اولین سایت در نتایج جستجو معرفی شده است، مرتبط ترین سایت با عبارت جستجو شده از دید آن موتور جستجوگر بوده است.
دقت در ارایه نتایج جستجو چیزیست که کاربران وب همواره از موتورهای جستجوگر می خواهند. هر چه نتایج جستجوی یک موتور جستجوگر دقیق تر و مرتبط تر باشد، محبوب تر خواهد بود و کاربران بیشتری بدان مراجعه خواهند کرد.
اگر عبارت یکسانی در تمام موتورهای جستجوگر، جستجو شود هیچ کدام از آنها نتایج یکسانی را ارائه نمیدهند و با نتایج کاملا متفاوتی روبرو میشویم. تفاوت در ارائه نتایج جستجو در موتورهای جستجوگر از تفاوت آنها در الگوریتم (سیستم رتبه بندی) و بایگانی دادهشان ناشی میشود. حتی اگر همه آنها از بایگانی داده یکسانی نیز استفاده کنند، بازهم نتایج جستجویشان متفاوت خواهد بود. موتور جستجوگر برای ردهبندی صفحات وب از الگوریتم خاصی استفاده میکند که فوقالعاده محرمانه میباشد. الگوریتم نیز مجموعه ای از دستورالعمل ها است که موتور جستجوگر به کمک آن تصمیم میگیرد که سایت ها را چگونه در خروجیاش مرتب کند
برای اینکه سایت ها با هم مقایسه شوند و بر حسب میزان ارتباط با موضوع جستجو شده، مرتب شوند، موتور جستجوگر، الگوریتم را بر مجموعهای از پارامترها اعمال میکند. پارامترهای مورد توجه موتور جستجوگر نیز همانند الگوریتم آن ها ناشناخته میباشد و این ناشناخته ها جذابیت دنیای موتورهای جستجوگر را دوچندان میکنند.