Googlebot

Googlebot und Crawling

Představa, že Google prochází adresy URL přímo, jakmile robot Google narazí na odkaz, je mylná. Ve skutečnosti jsou adresy URL nejprve shromažďovány a teprve poté navštěvovány. Proces procházení webových stránek společností Google je složitější, než si mnozí lidé uvědomují. Gary Illyes (datový analytik společnosti Google) to podrobně vysvětlil ve svém podcastu Google SEO.

Toto chování lze pozorovat například v souborech protokolu serveru webových stránek. Nejedná se pouze o přímé volání adres URL z prvků odkazů. Důležitou roli hrají mechanismy, jako je prioritizace a deduplikace.

Ačkoli v některých situacích může mít smysl jednoduše uvést, že Google „sleduje“ odkazy, v jiných případech je lepší popsat postup podrobněji.

Následující obrázek ukazuje, jak vlastně Google postupuje při vyhledávání a načítání nových adres URL: Stahovač zajišťuje stahování obsahu. Kromě textů a metadat jsou vyhledávány také adresy URL, které skončí v čekacím seznamu. Řídicí komponenta reguluje, kdy jsou které adresy URL prohledávány.

asynchronní procházení

Tento postup vysvětluje, proč pořadí odkazů na stránce neurčuje, kdy jsou adresy URL procházeny. John Mueller to již jednou vysvětlil v roce 2022.

Kdo si myslí, že stačí jednou vytvořit nový obsah a pak očekávat, že bude viditelný „zítra“, může se mýlit. Jak již bylo popsáno v jiných článcích, SEO je střednědobá až dlouhodobá strategie. Vyžaduje pravidelnou měsíční aktualizaci obsahu. Rád vám s tím poradím na bezplatné úvodní konzultaci.

Článek k poslechu v němčině:

Rád vám podrobněji vysvětlím proces procházení webových stránek vyhledávači, jako je Google:

1. zjišťování adres URL

Proces procházení začíná objevením nových adres URL. Google používá k vyhledávání nových stránek různé metody:

  • Odkazy z jiných webových stránek: Googlebot sleduje odkazy z již procházených stránek na nové adresy URL.
  • Mapy stránek: Provozovatelé webových stránek mohou odeslat mapy stránek XML obsahující seznam všech stránek na jejich webových stránkách.
  • Uživatelské příspěvky: Někdy mohou uživatelé odesílat adresy URL přímo prostřednictvím nástrojů, jako je Google Search Console.

2. sběr a pořadník

Jakmile jsou adresy URL objeveny, jsou nejprve shromážděny v interní databázi. Tyto adresy URL nejsou prohledávány okamžitě, ale jsou přidány do čekacího seznamu. Adresy URL v tomto seznamu jsou upřednostňovány a tříděny.

3. stanovení priorit a deduplikace

Společnost Google používá různé mechanismy k rozhodování o tom, kdy a které adresy URL mají být prohledávány:

  • Prioritizace: adresy URL jsou seřazeny podle relevance, popularity a aktuálnosti.
  • Deduplikace: Google rozpozná duplicitní obsah a zajistí, aby nebyl procházen více než jednou.

4. downloader

Dalším krokem v procesu je skutečné stažení obsahu. Zde:

  • Texty a metadata: Googlebot čte a ukládá kompletní obsah stránky, včetně textu, obrázků a metadat.
  • Další adresy URL: Během procházení může bot objevit další adresy URL, které jsou pak také přidány do čekacího seznamu.

5. ovládací prvek

Přístup k procházeným adresám URL reguluje speciální kontrolní komponenta. Tato komponenta na základě různých faktorů rozhoduje o tom, kdy mají být adresy URL znovu procházeny:

  • Aktuálnost obsahu: Webové stránky, které jsou často aktualizovány, jsou navštěvovány častěji.
  • Zdroje serveru: Google se snaží zabránit přetížení serverů webových stránek tím, že kontroluje frekvenci návštěv.

6. indexování

Po procesu prohledávání následuje indexování a řazení obsahu ve výsledcích vyhledávání :

  • Indexování: Prohledaný obsah je analyzován a zařazen do indexu Google. Při tom se ukládají důležité informace, jako jsou klíčová slova, názvy stránek a metadata.
  • Algoritmy řazení: Indexované stránky jsou vyhodnocovány a hodnoceny podle mnoha kritérií, aby se zobrazily ve výsledcích vyhledávání.

7. monitorování a zpětná vazba

Společnost Google průběžně sleduje stav a výkonnost procházených stránek. Informace z tohoto sledování se vracejí zpět do procesu procházení, aby bylo možné upravit priority a četnost.

Závěr

Proces prohledávání webu společností Google je složitou souhrou objevování, shromažďování, určování priorit, stahování a indexování webových stránek. Díky tomuto strukturovanému přístupu zajišťuje společnost Google efektivní a komplexní procházení internetu, aby se ve výsledcích vyhledávání zobrazoval co nejrelevantnější obsah. Pokud máte jakékoli dotazy týkající se konkrétních aspektů tohoto procesu, rád vám poskytnu bezplatnou úvodní konzultaci.

Úvodní konzultace zdarma

Potřebujete větší viditelnost? Rád vás podpořím a poradím vám. Každý projekt je jiný a zahrnuje individuální strategie.

Přejít nahoru