Indexarea de către Google
Câteva dintre cele mai populare motoare de căutare se bazează pe crawler-uri pentru a colecta date pentru algoritmii lor. Nu este necesar să trimiteți pagini care sunt conectate de la alte pagini indexate pentru motoarele de căutare, deoarece acestea vor fi găsite automat. Trimiterea manuală și auditul editorial uman au fost necesare atât pentru Yahoo! Directory și DMOZ, două dintre cele mai populare directoare care au fost închise în 2014.
Google oferă Google Search Console, care permite crearea și trimiterea gratuită a unui feed XML Sitemap pentru a se asigura că toate paginile, în special cele care nu pot fi căutate prin urmărirea automată a link-urilor, sunt găsite. Această practică a fost anulată în 2009, când Yahoo! a încetat să ofere un serviciu de trimitere plătit care asigura accesarea cu crawlere pentru o taxă pe clic.
Crawler-uri SEO și motoarele de căutare
Atunci când un motor de căutare accesează cu crawlere un site web, acesta poate lua în considerare o varietate de factori. Motoarele de căutare nu indexează fiecare pagină. Dacă o pagină este accesată cu crawlere sau nu, poate depinde și de apropierea acesteia de directorul rădăcină al site-ului.
Astăzi, majoritatea căutărilor Google sunt efectuate pe un dispozitiv mobil. În noiembrie 2016, Google a anunțat o schimbare majoră în modul în care accesează cu crawlere site-urile și a început să-și facă indexul mai întâi pe mobil, ceea ce înseamnă că versiunea mobilă a unei anumite pagini web devine punctul de plecare pentru ceea ce Google include în indexul lor. Google și-a actualizat motorul de randare al crawler-ului la cea mai recentă versiune de Chromium în mai 2019. (74 la momentul anunțului).
Google a promis că va menține motorul de randare Chromium actualizat în mod regulat. Spre sfârșitul anului 2019, Google a început să reînnoiască șirul User-Agent al crawler-ului său pentru a reflecta versiunea actuală Chrome folosită de serviciul său de redare. Webmasterii aveau nevoie de timp pentru a-și implementa codul pentru a răspunde la anumite șiruri de utilizator-agent bot, așa că întârzierea a fost necesară. În ciuda eforturilor Google, ei susțin că efectul ar fi neglijabil.
Contactați-ne pentru mai multe informații despre SEO și Marketing Digital acum.
