آیا موتورهای جست و جو اول اطلاعات را ذخیره میکنند یا بعد از درخواست کاربر اطلاعات را جمع می کنند؟
موتورهای جستجو به طور معمول اطلاعات وب را از قبل جمع می کنند و در پایگاه داده خود ذخیره می کنند. این فرآیند به عنوان "اندازه گیری" یا "شناسایی" سایت ها شناخته می شود و اغلب توسط ربات هایی که به عنوان "شناسایی کننده ها" شناخته می شوند، انجام می شود. به این ترتیب، در صورتی که کاربری یک درخواست برای یافتن اطلاعات ارسال کند، موتور جستجو می تواند به سرعت اطلاعات مورد نیاز را از پایگاه داده خود بازیابی کند و به کاربر ارائه دهد. با این حال، در برخی موارد، موتورهای جستجو ممکن است پس از درخواست کاربر، وب سایت های جدید را کاوش کنند و اطلاعات جدید را در پایگاه داده خود ذخیره کنند.
به طور کلی، موتورهای جستجو برای جمع آوری اطلاعات از وب سایت ها، از روش "شناخت محتوا" (Content Discovery) استفاده می کنند. در این روش، موتور جستجو به صورت خودکار به سایت ها مراجعه کرده و صفحات آنها را بررسی می کند. در هنگام بررسی صفحات، موتور جستجو از الگوریتم های خود برای تحلیل نحوه نمایش و پیمایش صفحات استفاده می کند.