INFOPEDIA

Crawler

Crawler je název pro robota (zkráceně bota), který přistupuje na webové stránky a zjišťuje zde informace, které jsou využitelné pro internetové vyhledávače. Většina crawlerů také pochází od společností, které se zabývají provozováním internetových vyhledávačů.

Slovo crawler v anghličtině znamená „zvolna se pohybující osoba“ neboli „lezoun“. To se na internetové roboty hodí – postupně prolézají weby a často i několikrát denně, tak aby příliš nezatížily servery, na kterých webové stránky běží.

Informace zjištěné crawlery se starají o udržení auktuálního indexu vyhledávače. Na webu vyhledávají stránky a prohlíží si jejich obsah a třeba i titulky. Díky tomu vyhledávač ví, co daná stránka obsahuje a kam by ji měl zařadit.

««« Předchozí text: Mechanická kalkulačka Následující text: EcoDisk »»»