Roboti i motorit të kërkimit është përgjegjës për zvarritjen e faqeve në internet. Programi lexon automatikisht të dhëna nga të gjitha faqet dhe i regjistron ato në një formë që është e kuptueshme për vetë motorin e kërkimit, në mënyrë që më vonë sistemi të shfaq rezultatet më të përshtatshme për përdoruesin.
Funksione
I gjithë informacioni i indeksuar regjistrohet në një bazë të dhënash të përbashkët.
Një robot kërkimi është një program që udhëton automatikisht nëpër faqet e internetit, duke kërkuar dokumentet e nevojshme dhe duke marrë strukturën e faqeve të zvarritura. Roboti zgjedh në mënyrë të pavarur faqet që do të skanohen. Në shumicën e rasteve, faqet për të skanuar zgjidhen rastësisht.
Llojet e botëve
Një robot që funksionon në mënyrë jo të duhur rrit ndjeshëm ngarkesën në rrjet dhe server, gjë që mund të shkaktojë që burimi të mos jetë i disponueshëm.
Çdo motor kërkimi ka disa programe të quajtura robotë. Secili prej tyre mund të kryejë një funksion specifik. Për shembull, në Yandex, disa robotë janë përgjegjës për skanimin e burimeve RSS të lajmeve, të cilat do të jenë të dobishme për indeksimin e blogeve. Ka edhe programe që kërkojnë vetëm për fotografi. Sidoqoftë, gjëja më e rëndësishme është botimi i indeksimit, i cili formon bazën për çdo kërkim. Ekziston gjithashtu një robot ndihmës i shpejtë i dizajnuar për të kërkuar azhurnime mbi burimet dhe ngjarjet e lajmeve.
Procedura e skanimit
Një mënyrë tjetër për të parandaluar zvarritjen e përmbajtjes është krijimi i hyrjes në sit përmes panelit të regjistrimit.
Kur vizitoni faqen, programi skanon sistemin e skedarëve për praninë e skedarëve udhëzues robots.txt. Nëse ka një dokument, fillon leximi i direktivave të shkruara në dokument. Robots.txt mund të ndalojë ose, përkundrazi, të lejojë skanimin e disa faqeve dhe skedarëve në sit.
Procesi i skanimit varet nga lloji i programit. Ndonjëherë robotët lexojnë vetëm titujt e faqeve dhe disa paragrafë. Në disa raste, skanimi bëhet në të gjithë dokumentin në varësi të shënjimit HTML, i cili gjithashtu mund të funksionojë si një mjet për specifikimin e frazave kryesore. Disa programe specializohen në etiketa të fshehura ose meta.
Shtimi në listë
Çdo webmaster mund të parandalojë që motori i kërkimit të zvarritet faqet përmes robots.txt ose etiketës META. Gjithashtu, krijuesi i faqes mund ta shtojë manualisht faqen në radhë për indeksim, por shtimi i saj nuk do të thotë që robot do të zvarritet menjëherë në faqen e dëshiruar. Për të shtuar një faqe në radhë, motorët e kërkimit gjithashtu ofrojnë ndërfaqe të veçanta. Shtimi i një faqe në mënyrë të konsiderueshme përshpejton procesin e indeksimit. Gjithashtu, për regjistrim të shpejtë në një motor kërkimi, mund të përdoren sisteme analitike në internet, direktori të faqeve, etj.
