Cum Funcționează Google Search: Parcurgerea și Indexarea

Introducere în Funcționarea Google Search

Google Search este un motor de căutare complet automatizat care utilizează software cunoscut sub numele de crawlere web pentru a explora internetul și a găsi pagini pe care să le adauge în indexul său. Majoritatea paginilor listate în rezultatele noastre nu sunt trimise manual pentru includere, ci sunt găsite și adăugate automat atunci când crawlerele noastre explorează web-ul. Acest document explică etapele de funcționare a căutării în contextul site-ului dvs. web. Având această bază de cunoștințe, puteți rezolva problemele de crawling, să vă indexați paginile și să învățați cum să optimizați modul în care site-ul dvs. apare în Google Search.

Note Importante Înainte de a Începe

Înainte de a intra în detaliile despre cum funcționează căutarea, este important de menționat că Google nu acceptă plăți pentru a accesa un site mai frecvent sau pentru a-l clasa mai sus. Dacă cineva vă spune altfel, greșește.

Google nu garantează că va accesa, indexa sau servi pagina dvs., chiar dacă pagina dvs. respectă Esențialele Google Search.

Introducerea celor Trei Etape ale Google Search

Google Search funcționează în trei etape, iar nu toate paginile trec prin fiecare etapă:

1. Crawling: Google descarcă text, imagini și videoclipuri de pe paginile găsite pe internet cu programe automate numite crawlere.
2. Indexare: Google analizează textul, imaginile și fișierele video de pe pagină și stochează informațiile în indexul Google, care este o bază de date mare.
3. Servirea rezultatelor căutării: Când un utilizator caută pe Google, Google returnează informații relevante pentru interogarea utilizatorului.

Crawling

Prima etapă este descoperirea paginilor existente pe web. Nu există un registru central al tuturor paginilor web, așa că Google trebuie să caute constant pagini noi și actualizate și să le adauge la lista sa de pagini cunoscute. Acest proces se numește “descoperirea URL-urilor”. Unele pagini sunt cunoscute deoarece Google le-a vizitat deja. Alte pagini sunt descoperite când Google extrage un link de pe o pagină cunoscută către o pagină nouă: de exemplu, o pagină hub, cum ar fi o pagină de categorie, leagă la o postare nouă de blog. Alte pagini sunt descoperite când trimiteți o listă de pagini (un sitemap) pentru ca Google să le acceseze.

Odată ce Google descoperă un URL al unei pagini, poate vizita (sau “crawla”) pagina pentru a afla ce conține. Folosim un set imens de computere pentru a accesa miliarde de pagini pe web. Programul care face preluarea se numește Googlebot (cunoscut și ca crawler, robot, bot sau spider). Googlebot folosește un proces algoritmic pentru a determina ce site-uri să acceseze, cât de des și câte pagini să preia de pe fiecare site. Crawlerele Google sunt, de asemenea, programate astfel încât să încerce să nu acceseze site-ul prea rapid pentru a evita supraîncărcarea acestuia. Acest mecanism se bazează pe răspunsurile site-ului (de exemplu, erorile HTTP 500 înseamnă “încetiniți”).

Cu toate acestea, Googlebot nu accesează toate paginile pe care le-a descoperit. Unele pagini pot fi interzise pentru accesare de către proprietarul site-ului, alte pagini pot să nu fie accesibile fără autentificare pe site.

În timpul accesării, Google redă pagina și rulează orice JavaScript găsit folosind o versiune recentă de Chrome, similar cu modul în care browserul dvs. redă paginile pe care le vizitați. Redarea este importantă deoarece site-urile web se bazează adesea pe JavaScript pentru a aduce conținut pe pagină, iar fără redare Google ar putea să nu vadă acel conținut.

Accesarea depinde de capacitatea crawlerelor Google de a accesa site-ul. Unele probleme comune cu accesarea site-urilor de către Googlebot includ:

• Probleme cu serverul care gestionează site-ul
• Probleme de rețea
• Reguli robots.txt care împiedică accesul Googlebot la pagină

Indexare

După ce o pagină este accesată, Google încearcă să înțeleagă despre ce este vorba. Această etapă se numește indexare și include procesarea și analizarea conținutului textual și a etichetelor și atributelor cheie de conținut, cum ar fi <title> elemente și atributele alt, imagini, videoclipuri și altele.

În timpul procesului de indexare, Google determină dacă o pagină este un duplicat al unei alte pagini de pe internet sau canonică. Canonica este pagina care poate fi afișată în rezultatele căutării. Pentru a selecta pagina canonică, grupăm mai întâi (cunoscut și sub numele de clustering) paginile pe care le-am găsit pe internet care au conținut similar, apoi selectăm pe cea care este cea mai reprezentativă pentru grup. Celelalte pagini din grup sunt versiuni alternative care pot fi servite în contexte diferite, cum ar fi dacă utilizatorul caută de pe un dispozitiv mobil sau caută o pagină foarte specifică din acel cluster.

Google colectează, de asemenea, semnale despre pagina canonică și conținutul acesteia, care pot fi utilizate în etapa următoare, unde servim pagina în rezultatele căutării. Unele semnale includ limba paginii, țara la care este localizat conținutul și utilizabilitatea paginii.

Informațiile colectate despre pagina canonică și clusterul său pot fi stocate în indexul Google, o bază de date mare găzduită pe mii de computere. Indexarea nu este garantată; nu fiecare pagină pe care Google o procesează va fi indexată.

Indexarea depinde, de asemenea, de conținutul paginii și de metadatele acesteia. Unele probleme comune de indexare pot include:

• Calitatea scăzută a conținutului de pe pagină
• Reguli meta robots care interzic indexarea
• Designul site-ului web poate face indexarea dificilă

Servirea Rezultatelor Căutării

Când un utilizator introduce o interogare, mașinile noastre caută în index paginile corespunzătoare și returnează rezultatele pe care le considerăm de cea mai înaltă calitate și cele mai relevante pentru interogarea utilizatorului. Relevanța este determinată de sute de factori, care ar putea include informații precum locația utilizatorului, limba și dispozitivul (desktop sau telefon). De exemplu, căutarea “reparații biciclete” ar afișa rezultate diferite pentru un utilizator din Paris decât pentru unul din Hong Kong.

Pe baza interogării utilizatorului, caracteristicile de căutare care apar pe pagina de rezultate ale căutării se schimbă. De exemplu, căutarea “reparații biciclete” va afișa probabil rezultate locale și nu rezultate de imagini, însă căutarea “bicicletă modernă” este mai probabil să afișeze rezultate de imagini, dar nu rezultate locale. Puteți explora cele mai comune elemente UI ale căutării web Google în galeria de elemente vizuale.

Search Console ar putea să vă spună că o pagină este indexată, dar nu o vedeți în rezultatele căutării. Acest lucru ar putea fi din cauză că:

• Conținutul de pe pagină este irelevant pentru interogările utilizatorilor
• Calitatea conținutului este scăzută
• Reguli meta robots care împiedică servirea

În timp ce acest ghid explică cum funcționează căutarea, lucrăm mereu la îmbunătățirea algoritmilor noștri. Puteți urmări aceste schimbări urmărind blogul Google Search Central.