انواع موتورهای جستجو
موتورهای جستجو به دو دسته کلی تقسیم میشوند. موتورهای جستجوی پیمایشی و فهرستهای تکمیلدستی. هر کدام از آنها برای تکمیل فهرست خود از روشهای متفاوتی استفاده میکنند البته لازم به ذكر است كه گونه ای جدید از موتورهای جستجوگر تحت عنوان "ابر جستجوگر" (Meta Search Engines) نیز وجود دارد كه در ادامه به توضیح هر یك از این موارد خواهیم پرداخت :
موتورهای جستجوی پیمایشی
موتورهای جستجوی پیمایشی (Crawler-Based Search Engines) مانند گوگل فهرست خود را بصورت خودکار تشکیل میدهند. آنها وب را پیمایش کرده، اطلاعاتی را ذخیره میکنند، سپس کاربران از میان این اطلاعات ذخیره شده، آنچه را که میخواهند جستجو میکنند. اگر شما در صفحه وب خود تغییراتی را اعمال نمایید، موتورهای جستجوی پیمایشی آنها را به طور خودکار مییابند و سپس این تغییرات در فهرستها اعمال خواهد شد. عنوان، متن و دیگر عناصر صفحه، همگی در این فهرست قرار خواهند گرفت.
فهرستهای تکمیلدستی
فهرستهای تکمیلدستی یا (Human-Powered Directories) مانند فهرست بازی (Open Directory) مانند Dmoz وابسته به کاربرانی است که آن را تکمیل میکنند. شما صفحه مورد نظر را به همراه توضیحی كوتاه در فهرست ثبت میکنید یا این کار توسط ویراستارهایی که برای آن فهرست در نظر گرفته شده، انجام میشود. عمل جستجو در این حالت تنها بر روی توضیحات ثبت شده صورت میگیرد و در صورت تغییر روی صفحه وب، روی فهرست تغییری به وجود نخواهد آورد. چیزهایی که برای بهبود یک فهرستبندی در یک موتور جستجو مفید هستند، تأثیری بر بهبود فهرستبندی یک دایرکتوری ندارند. تنها استثناء این است که یک سایت خوب با پایگاه دادهای با محتوای خوب شانس بیشتری به نسبت یک سایت با پایگاه داده ضعیف دارد. البته در مورد جستجوگرهای مشهور از جمله گوگل و یاهو، یک مولفه دیگر هم برای بهبود فهرستبندی وجود دارد که کمک مالی است، یعنی وبگاههایی که مایل به بهبود مکان وبگاه خود در فهرستبندی هستند، میتوانند با پرداخت پول به این جستجوگرها به هدف خویش برسند.
موتورهای جستجوی ترکیبی با نتایج مختلط
به موتورهایی اطلاق میشود که هر دو حالت را در کنار هم نمایش میدهند. غالباً، یک موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دستههای فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار میدهد. مثلاً موتور جستجوی ام.اس.ان (MSN) بیشتر نتایج حاصل از فهرستهای تکمیلدستی را نشان میدهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی پیمایشی دارد.
ابر جستجوگرها
این گونه جدید از موتورهای جستجوگر كه قدمت چندانی نیز ندارند،از تركیب كردن نتایج حاصل از چندین موتورجستجوگر استفاده میكنند.بدین معنی كه این موتور عبارت مورد نظر شما را در چندین موتورجستجوگر ِ جستجو کرده و نتایج آنها را با هم تركیب كرده و یك نتیجه كلی به شما ارائه میدهد.بهعنوان مثال موتورجستجوگر داگ پایل [1] از نتایج حاصل از موتورهای Google - Yahoo - MSN و ASK استفاده كرده و نتیجه حاصله را به شما ارائه میدهد.لازم به ذکر است که روش و یا راهکاری که برای ترکیب نتایج حاصله از موتورهای پایه - موتورهایی که به عنوان موتور جستجوگر استفاده میشود بعنوان مثال Yahoo یک موتور پایه برای dogpile میباشد - استفاده میشوند متفاوت می باشند و دارای استاندارد و یا الگوریتم ویژه های نمیباشند.
بررسی یک موتور جستجوی پیمایشی
موتورهای جستجوی پیمایشی شامل سه عنصر اصلی هستند. اولی در اصطلاح عنکبوت (Spider) است که پیمایشگر (Crawler) هم نامیده میشود. پیمایشگر همین که به یک صفحه میرسد، آن را میخواند و سپس پیوندهای آن به صفحات دیگر را دنبال مینماید. این چیزیست که برای یک سایت پیمایششده (Crawled) اتفاق افتاده است. پیمایشگر با یک روال منظم، مثلاً یک یا دو بار در ماه به سایت مراجعه میکند تا تغییرات موجود در آن را بیابد. هر چیزی که پیمایشگر بیابد به عنصر دوم یک موتور جستجو یعنی فهرست انتقال پیدا میکند. فهرست اغلب به کاتالوگی بزرگ اطلاق میشود که شامل لیستی از آنچه است که پیمایشگر یافته است. مانند کتاب عظیمی که فهرستی را از آنچه پیمایشگرها از صفحات وب یافتهاند، شامل شده است. هرگاه سایتی دچار تغییر شود، این فهرست نیز به روز خواهد شد. از زمانی که تغییری در صفحهای از سایت ایجاد شده تا هنگامی که آن تغییر در فهرست موتور جستجو ثبت شود مدت زمانی طول خواهد کشید. پس ممکن است که یک سایت پیمایششده باشد اما فهرستشده نباشد. تا زمانی که این فهرستبندی برای آن تغییر ثبت نشده باشد، نمیتوان انتظار داشت که در نتایج جستجو آن تغییر را ببینیم. نرمافزار موتور جستجو، سومین عنصر یک موتور جستجو است و به برنامهای اطلاق میشود که به صورت هوشمندانهای دادههای موجود در فهرست را دستهبندی کرده و آنها را بر اساس اهمیت طبقهبندی میکند تا نتیجه جستجو با کلمههای درخواست شده هر چه بیشتر منطبق و مربوط باشد.
موتورهای جستجو به دو دسته کلی تقسیم میشوند. موتورهای جستجوی پیمایشی و فهرستهای تکمیلدستی. هر کدام از آنها برای تکمیل فهرست خود از روشهای متفاوتی استفاده میکنند البته لازم به ذكر است كه گونه ای جدید از موتورهای جستجوگر تحت عنوان "ابر جستجوگر" (Meta Search Engines) نیز وجود دارد كه در ادامه به توضیح هر یك از این موارد خواهیم پرداخت :
موتورهای جستجوی پیمایشی
موتورهای جستجوی پیمایشی (Crawler-Based Search Engines) مانند گوگل فهرست خود را بصورت خودکار تشکیل میدهند. آنها وب را پیمایش کرده، اطلاعاتی را ذخیره میکنند، سپس کاربران از میان این اطلاعات ذخیره شده، آنچه را که میخواهند جستجو میکنند. اگر شما در صفحه وب خود تغییراتی را اعمال نمایید، موتورهای جستجوی پیمایشی آنها را به طور خودکار مییابند و سپس این تغییرات در فهرستها اعمال خواهد شد. عنوان، متن و دیگر عناصر صفحه، همگی در این فهرست قرار خواهند گرفت.
فهرستهای تکمیلدستی
فهرستهای تکمیلدستی یا (Human-Powered Directories) مانند فهرست بازی (Open Directory) مانند Dmoz وابسته به کاربرانی است که آن را تکمیل میکنند. شما صفحه مورد نظر را به همراه توضیحی كوتاه در فهرست ثبت میکنید یا این کار توسط ویراستارهایی که برای آن فهرست در نظر گرفته شده، انجام میشود. عمل جستجو در این حالت تنها بر روی توضیحات ثبت شده صورت میگیرد و در صورت تغییر روی صفحه وب، روی فهرست تغییری به وجود نخواهد آورد. چیزهایی که برای بهبود یک فهرستبندی در یک موتور جستجو مفید هستند، تأثیری بر بهبود فهرستبندی یک دایرکتوری ندارند. تنها استثناء این است که یک سایت خوب با پایگاه دادهای با محتوای خوب شانس بیشتری به نسبت یک سایت با پایگاه داده ضعیف دارد. البته در مورد جستجوگرهای مشهور از جمله گوگل و یاهو، یک مولفه دیگر هم برای بهبود فهرستبندی وجود دارد که کمک مالی است، یعنی وبگاههایی که مایل به بهبود مکان وبگاه خود در فهرستبندی هستند، میتوانند با پرداخت پول به این جستجوگرها به هدف خویش برسند.
موتورهای جستجوی ترکیبی با نتایج مختلط
به موتورهایی اطلاق میشود که هر دو حالت را در کنار هم نمایش میدهند. غالباً، یک موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دستههای فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار میدهد. مثلاً موتور جستجوی ام.اس.ان (MSN) بیشتر نتایج حاصل از فهرستهای تکمیلدستی را نشان میدهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی پیمایشی دارد.
ابر جستجوگرها
این گونه جدید از موتورهای جستجوگر كه قدمت چندانی نیز ندارند،از تركیب كردن نتایج حاصل از چندین موتورجستجوگر استفاده میكنند.بدین معنی كه این موتور عبارت مورد نظر شما را در چندین موتورجستجوگر ِ جستجو کرده و نتایج آنها را با هم تركیب كرده و یك نتیجه كلی به شما ارائه میدهد.بهعنوان مثال موتورجستجوگر داگ پایل [1] از نتایج حاصل از موتورهای Google - Yahoo - MSN و ASK استفاده كرده و نتیجه حاصله را به شما ارائه میدهد.لازم به ذکر است که روش و یا راهکاری که برای ترکیب نتایج حاصله از موتورهای پایه - موتورهایی که به عنوان موتور جستجوگر استفاده میشود بعنوان مثال Yahoo یک موتور پایه برای dogpile میباشد - استفاده میشوند متفاوت می باشند و دارای استاندارد و یا الگوریتم ویژه های نمیباشند.
بررسی یک موتور جستجوی پیمایشی
موتورهای جستجوی پیمایشی شامل سه عنصر اصلی هستند. اولی در اصطلاح عنکبوت (Spider) است که پیمایشگر (Crawler) هم نامیده میشود. پیمایشگر همین که به یک صفحه میرسد، آن را میخواند و سپس پیوندهای آن به صفحات دیگر را دنبال مینماید. این چیزیست که برای یک سایت پیمایششده (Crawled) اتفاق افتاده است. پیمایشگر با یک روال منظم، مثلاً یک یا دو بار در ماه به سایت مراجعه میکند تا تغییرات موجود در آن را بیابد. هر چیزی که پیمایشگر بیابد به عنصر دوم یک موتور جستجو یعنی فهرست انتقال پیدا میکند. فهرست اغلب به کاتالوگی بزرگ اطلاق میشود که شامل لیستی از آنچه است که پیمایشگر یافته است. مانند کتاب عظیمی که فهرستی را از آنچه پیمایشگرها از صفحات وب یافتهاند، شامل شده است. هرگاه سایتی دچار تغییر شود، این فهرست نیز به روز خواهد شد. از زمانی که تغییری در صفحهای از سایت ایجاد شده تا هنگامی که آن تغییر در فهرست موتور جستجو ثبت شود مدت زمانی طول خواهد کشید. پس ممکن است که یک سایت پیمایششده باشد اما فهرستشده نباشد. تا زمانی که این فهرستبندی برای آن تغییر ثبت نشده باشد، نمیتوان انتظار داشت که در نتایج جستجو آن تغییر را ببینیم. نرمافزار موتور جستجو، سومین عنصر یک موتور جستجو است و به برنامهای اطلاق میشود که به صورت هوشمندانهای دادههای موجود در فهرست را دستهبندی کرده و آنها را بر اساس اهمیت طبقهبندی میکند تا نتیجه جستجو با کلمههای درخواست شده هر چه بیشتر منطبق و مربوط باشد.