Ocjenjivač tražilice obično je odgovoran za unos različitih riječi ili izraza u tražilicu i određivanje koliko se rezultati podudaraju sa željenim ishodom. Na primjer, evaluator bi mogao upisati frazu “American Revolution” u tražilicu, a zatim pogledati najbolje rezultate za taj upit. Analizom se može utvrditi jesu li pronađeni rezultati informativni i relevantni koliko bi trebali biti. Ocjenjivač tražilice može ponuditi prijedloge o tome kako se mogu napraviti poboljšanja, a često se daje i velik dio dokumentacije koja ukazuje na to gdje se kvarovi događaju.
Jedan od primarnih zadataka evaluatora tražilice je korištenje različitih web stranica za unos upita za internetske rezultate. Netko se može zaposliti kod programera tražilice, na primjer, a zatim dobiti razne izraze i riječi za pretraživanje kroz taj uslužni program. Ocjenjivač dokumentira najbolje rezultate koji se pojavljuju nakon takve pretrage i može dati dodatne informacije o relevantnosti svakog unosa. Ovaj rad omogućuje tvrtki da bolje razumije rezultate ljudske interakcije s određenim motorom.
Tvrtke također mogu angažirati ocjenjivača tražilice kako bi utvrdili koliko dobro njihove usluge mogu raditi s različitim komunalnim uslugama. Tvrtka koja pruža usluge prevođenja različitim tvrtkama, na primjer, mogla bi angažirati nekoga da izvrši ovu vrstu analize. Ocjenjivač može pokrenuti upite koristeći riječi i izraze koji se odnose na informacije koje je prevela i dostavila tvrtka. Rezultati tih pretraživanja nude informacije o tome koliko je prijevod bio uspješan i koliko dobro tražilice prate novu stranicu. Zatim se na stranici mogu unijeti promjene kako bi se osiguralo da je točno locirana pomoću alata za pretraživanje.
Komunikacija i dokumentacija često su sastavni dio posla koji obavlja evaluator tražilice. Nakon što se upit unese, analiza obično uključuje dodatnu navigaciju raznim stranicama i web stranicama kako bi se odredili rezultati pretraživanja. Te se informacije prosljeđuju programerima i programerima koji mogu koristiti takve metrike kako bi odredili koliko dobro softver radi.
Važno je da dokumenti koje dostavlja procjenitelj tražilice budu točni i opsežni. Drugi trebaju razumjeti rezultate analize, a možda će biti potrebno provesti više testova na jednoj frazi. Upravljanje vremenom i motivacija također mogu biti potrebni na ovoj poziciji, budući da ocjenjivač često ima otvoren raspored i izvršava zadatke unutar potrebnog vremenskog okvira.