Ide o proces, počas ktorého internetový robot neustále prehľadáva, sťahuje a analyzuje obsah webových stránok. Jeho úlohou je vytvorenie databázy a indexovanie zaznamenaných informácií.

Vyhľadávačom ako Google, Bing alebo Yahoo crawling umožňuje prechádzať a získavať obsah webových stránok. Následne je možná aktualizácia vyhľadávacieho indexu, čo je dôležité pre poskytovanie relevantných výsledkov vyhľadávania.

Crawling je tiež kľúčový pre optimalizáciu webových stránok a zlepšenie ich viditeľnosti vo vyhľadávačoch.