Pauci tražilice su softverski programi koji pregledavaju sadržaj na web stranicama i grade popise riječi koje se pojavljuju na tim stranicama. Taj se proces naziva indeksiranjem weba. Program posjećuje stranicu po stranicu, prateći svaku poveznicu i bilježeći sadržaj svake stranice dok se ona odvija poput pauka koji puzi stranicama. Taj se sadržaj zatim dodaje u indeks tražilice.
Različite tražilice koriste različite pristupe kada šalju svoje paukove tražilice. Neki prate svaku riječ na stranici. Drugi snimaju meta oznake, naslove i riječi podnaslova. Indeksiranje 100 najčešćih riječi na stranici još je jedna taktika koju koristi pauk tražilice.
Linkovi na web stranice su ono što hrani paukove tražilice. Što češće pauci vide poveznice na web stranicu, to češće posjećuju. To daje paucima više informacija za indeksiranje web-mjesta i čini da se stranica prikazuje više u rezultatima tražilice za pojmove za pretraživanje koji se odnose na tu stranicu.
Optimizacija za tražilice (SEO) uključuje korištenje specifičnih taktika za privlačenje pauka tražilice na web-mjesto. Nekoliko načina korištenja SEO-a je ručno slanje web stranice za uključivanje u tražilicu, unakrsna poveznica, korištenje ključnih riječi i korištenje meta oznaka. To će pomoći privući promet i paukove na web-mjesto.
Također je moguće ručno zatražiti posjet pauka tražilice. To uključuje slanje stranice tražilici na pregled i može se učiniti besplatno ili putem plaćenog slanja, ovisno o tražilici. Tražilica će zatim poslati svog pauka na stranicu. Ovo možda neće pomoći u rangiranju stranice, ali će uključiti web mjesto u popise motora.
Unakrsno povezivanje uključuje povezivanje na stranice unutar web stranice. To će potaknuti paukove tražilice da nastave prolaziti kroz iste stranice iste stranice, indeksirajući kako idu. Također se koristi i neželjena pošta veza, ali može naštetiti rangu stranice i SEO-u.
Korištenje izraza ključnih riječi znači uključivanje u tekst web stranice nekih fraza koje bi korisnik vjerojatno tražio na tražilici. Pauci tražilice ih vide, vide koliko se puta pojavljuju na stranici i indeksiraju ih. Na kraju, ako dovoljno ljudi traži ove ključne riječi, bit će preusmjereni na stranicu.
Meta tagovi su posebni kodovi smješteni unutar web stranice koji joj omogućuju da odredi što će pauci tražilice indeksirati. Važno je zapamtiti da će pauci provjeravati meta oznake u odnosu na sadržaj stranice, a ako se ne podudaraju, pauk će ih odbiti. Meta oznake nisu vidljive na web stranici osim ako netko ne pogleda izvorni kod web stranice.