Indeksimi është procesi i skanimit të skedarëve të vendosur në një burim interneti nga një robot kërkimi. Kjo procedurë kryhet në mënyrë që faqja të jetë në dispozicion në rezultatet e kërkimit për pyetje të ndryshme në motorin e kërkimit. Ndër motorët më të mëdhenj të kërkimit sot është Yandex, i cili e kryen këtë skanim në mënyrën e vet.
Udhëzimet
Hapi 1
Indeksimi i faqes në Internet kryhet nga programe speciale automatike - robotë kërkimi, të cilët automatikisht ndjekin shfaqjen e vendeve të reja në Rrjetin MbarëBotëror, duke skanuar vazhdimisht faqet e Internetit të vendosura në internet, skedarët dhe lidhjet me to në secilin burim.
Hapi 2
Për të skanuar, roboti shkon në drejtorinë ku ndodhet burimi në një server të veçantë. Kur zgjedh një faqe të re, roboti drejtohet nga disponueshmëria e tij. Për shembull, ekziston një mendim që Yandex së pari skanon faqet e krijuara në një domen në gjuhën ruse dhe në rusisht - ru, rf, su ose ua, dhe vetëm pastaj lëviz në rajone të tjera.
Hapi 3
Roboti navigon në sit dhe skanon strukturën e tij, së pari duke kërkuar skedarë që tregojnë kërkime të mëtejshme. Për shembull, një sit skanohet për Sitemap.xml ose robots.txt. Këto skedarë mund të përdoren për të vendosur sjelljen e robotit të kërkimit kur skanoni. Duke përdorur sitemap (sitemap.xml), roboti merr një ide më të saktë për strukturën e burimit. Webmasteri përdor robots.txt për të përcaktuar skedarët që ai nuk do të donte të shfaqeshin në rezultatet e kërkimit. Për shembull, mund të jetë informacion personal ose të dhëna të tjera të padëshiruara.
Hapi 4
Pasi ka skanuar këto dy dokumente dhe ka marrë udhëzimet e nevojshme, roboti fillon të analizojë kodin HTML dhe të përpunojë etiketat e marra. Si parazgjedhje, në mungesë të një skedari robots.txt, motori i kërkimit fillon të përpunojë të gjitha dokumentet e ruajtura në server.
Hapi 5
Duke klikuar në lidhjet në dokumente, roboti gjithashtu merr informacion në lidhje me faqet e tjera që janë në radhë për skanim duke ndjekur këtë burim. Skedarët e skanuar në sit ruhen si një kopje dhe strukturë teksti në serverat në qendrat e të dhënave Yandex.
Hapi 6
Nevoja për ri-skanim përcaktohet gjithashtu automatikisht nga robotët. Programi krahason rezultatin ekzistues të skanimit me versionin e azhurnuar të faqes kur kalon përsëri përmes indeksimit. Nëse të dhënat e marra nga programi ndryshojnë, kopja e faqes azhurnohet gjithashtu në serverin Yandex.
