Google Search Central dokumentācijā skaidrots, ka meklētājprogramma darbojas trīs posmos: atrod un pārmeklē lapas, analizē to saturu un pēc tam atlasa meklēšanas rezultātiem piemērotākās. Ne visas atrastās vai pārmeklētās lapas automātiski nonāk Google meklēšanas rezultātos. Ja to tur neatrodi, pirms problēmas meklēšanas, svarīgi vispirms noskaidrot, kurā no šiem posmiem tā radusies.
1. Mājaslapa ir pārāk jauna, un Google to vēl nav atradusi
Viens no vienkāršākajiem un biežākajiem iemesliem, kādēļ vietne vēl nav redzama meklēšanas rezultātos, ir tās vecums. Ja mājaslapa ir jauna, iespējams, meklētājprogramma vēl nav paguvusi to atrast un tās sadaļas indeksēt.
Google tehniskajā dokumentācijā skaidrots, ka lielākajai daļai vietņu jaunu vai atjauninātu lapu atkārtota pārmeklēšana var aizņemt vismaz 3 dienas (nereti arī ilgāk). Lai palīdzētu meklētājprogrammai atrast jaunu saturu, ieteicams pievienot mājaslapu Google Search Console, iesniegt XML vietnes karti jeb sitemap un nodrošināt iekšējās saites uz svarīgākajām lapām.
2. Google piekļuvi ierobežo robots.txt vai noindex iestatījumi
Mājaslapas izstrādes laikā bieži tiek izmantoti iestatījumi, kas neļauj meklētājprogrammām piekļūt nepabeigtam saturam. Problēma rodas, ja šos ierobežojumus aizmirst izslēgt pēc mājaslapas publicēšanas.
Vai iespējams piekļūt saturam, norāda noindex vai index iestatījumi. robots.txt fails nosaka, kurus URL meklētājprogrammu roboti drīkst pārmeklēt, savukārt noindex norāda, ka attiecīgā lapa nav jāiekļauj meklēšanas indeksā. Google Search Console URL Inspection rīkā iespējams noskaidrot, vai lapai ir atļauta pārmeklēšana un indeksēšana.
3. Google ir atradusi lapu, bet tā nav indeksēta
Google Search Console pārskatā Page indexing dažkārt redzams statuss “Discovered – currently not indexed” vai “Crawled – currently not indexed”. Lai gan abi statusi norāda uz neindeksētu lapu, to nozīme atšķiras. Pirmajā gadījumā meklētājprogramma zina URL adresi, bet vēl nav to pārmeklējusi. Otrajā gadījumā lapa jau ir pārmeklēta, taču nav iekļauta indeksā.
Indeksēšana nav garantēta pat tehniski pareizi izveidotai lapai. Google izvērtē arī saturu, tā lietderību un līdzību ar citām lapām. Piemēram, interneta veikalā var būt desmitiem preču ar gandrīz identiskiem aprakstiem, kuros mainās tikai krāsa vai izmērs. Šādā gadījumā meklēšanas rezultātos, visticamāk, tiks parādīta tikai viena variācija.
4. Nepareizi norādīta canonical adrese
Viena un tā pati mājaslapas informācija var būt pieejama vairākās URL adresēs. Tas īpaši raksturīgi interneta veikaliem, kuros produktus var atrast dažādās kategorijās vai atlasīt, izmantojot filtrus. Lai noteiktu vēlamo lapas versiju, tiek izmantots rel="canonical" elements. Tomēr Google norāda, ka canonical ir norāde, nevis obligāta komanda un meklētājprogramma tik un tā var izvēlēties citu URL.
Piemēram, ja produkta lapas canonical norāda uz kategoriju, Google var uzskatīt produkta URL par alternatīvu, nevis atsevišķi indeksējamu lapu. Google Search Console URL Inspection rīkā iespējams salīdzināt vietnes norādīto canonical adresi ar Google izvēlēto.
5. Mājaslapai ir pārāk daudz nevajadzīgu URL
Interneta veikalā ar 1000 produktiem URL skaits var būt ievērojami lielāks. To palielina produktu filtri, kārtošanas parametri, meklēšanas rezultātu lapas un dažādi tehniski parametri. Piemēram, vienai produktu kategorijai var veidoties atsevišķas adreses katrai cenas, zīmola un krāsas filtru kombinācijai.
Google šādu situāciju saista ar pārmeklēšanas resursu jeb crawl budget neefektīvu izmantošanu. Ja robots regulāri apmeklē daudzus mazvērtīgus vai līdzīgus URL, svarīgāko lapu atklāšana var aizkavēties.
Google sniedz arī konkrētus orientierus:
- Vietnes ar aptuveni 500 vai mazāk indeksējamām lapām parasti tiek uzskatītas par nelielām.
- Padziļināta crawl budget optimizācija īpaši aktuāla vietnēm ar vairāk nekā miljonu URL, kas regulāri mainās.
- Tā var būt svarīga arī vietnēm ar vairāk nekā 10 000 URL, ja to saturs mainās katru dienu.
Mazākiem e-veikaliem parasti svarīgāk ir sakārtot navigāciju, iekšējās saites un indeksējamo lapu izvēli, nevis sarežģīti optimizēt pārmeklēšanas resursu sadalījumu.
6. Mājaslapas serveris ne vienmēr ir pieejams Google robotam
Mājaslapa apmeklētājam var atvērties bez problēmām, taču tas vēl negarantē, ka Googlebot vienmēr spēj saņemt tās saturu. Servera pārslodze, savienojuma pārtraukumi un HTTP 5xx kļūdas var ierobežot pārmeklēšanu. Google skaidro, ka tā sistēmas pielāgo pieprasījumu biežumu servera iespējām, lai neradītu pārmērīgu slodzi.
Ja Googlebot atkārtoti saņem servera kļūdas, pārmeklēšanas intensitāte var samazināties. Lai noteiktu problēmu, Google Search Console sadaļā Crawl stats var pārbaudīt servera atbilžu sadalījumu, pieejamības problēmas un pārmeklēšanas aktivitātes izmaiņas.
Īpaša uzmanība tam jāpievērš pēc hostinga maiņas, mājaslapas migrācijas vai būtiskiem tehniskajiem atjauninājumiem.
7. Google neredz visu mājaslapas saturu
Mūsdienu vietnēs arvien biežāk tiek izmantots JavaScript, kas nodrošina produktu ielādi, interaktīvus filtrus un dinamisku satura attēlošanu. Google spēj izpildīt JavaScript, tomēr tas nenozīmē, ka jebkurš dinamisks saturs automātiski būs pieejams indeksēšanai.
Google dokumentācijā skaidrots, ka JavaScript vietņu apstrāde ietver pārmeklēšanu, lapas renderēšanu un indeksēšanu. Atsevišķās vietnēs sākotnējais HTML dokuments satur tikai tehnisko struktūru, bet galvenais saturs tiek ielādēts vēlāk. Ja JavaScript izpilde neizdodas vai svarīgi resursi ir bloķēti, Google var nesaņemt pilnvērtīgu lapas saturu.
Piemērs ir produktu kategorija, kuras preces tiek ielādētas tikai pēc lietotāja darbības. Ja Googlebot nevar atklāt šīs preču saites, daļa kataloga var palikt nepārmeklēta. Šādos gadījumos jāpārbauda renderētais HTML, izmantojot Google Search Console URL Inspection rīku. Atkarībā no vietnes tehnoloģijas var būt nepieciešams pārskatīt satura ielādes veidu vai izmantot servera pusē ģenerētu HTML.
8. Vietnei trūkst kvalitatīvu iekšējo saišu
Pat tad, ja mājaslapā ir korekti izveidota XML vietnes karte, Google ne vienmēr atradīs un indeksēs visas norādītās adreses. Google dokumentācijā uzsvērts, ka sitemap palīdz atklāt sadaļas, bet negarantē to pārmeklēšanu vai indeksēšanu.
Svarīga ir arī mājaslapas iekšējā struktūra. Ja uz kādu sadaļu nav saišu no citām vietnes sadaļām, meklētājprogrammai var būt sarežģītāk to atrast un novērtēt tās nozīmi. Šādu situāciju mēdz dēvēt par orphan page jeb izolētu lapu.
Piemēram, interneta veikalā var būt publicēts produkts, kas nav pievienots nevienai kategorijai un nav atrodams meklētāja pārmeklējamās saitēs. Produkta URL tehniski darbojas, taču tas nenozīmē, ka Google to ātri atklās. Tāpēc būtiskākajām lapām jābūt sasniedzamām caur loģisku navigāciju, kategorijām un iekšējām saitēm.
Kā noskaidrot, kāpēc konkrēta lapa nav indeksēta?
Pirmais solis ir atvērt Google Search Console un pārbaudīt attiecīgo URL ar URL Inspection rīku. Tas ļauj noskaidrot, vai Google zina šo adresi, kad tā pēdējoreiz pārmeklēta un kāds ir indeksēšanas statuss.
Biežāk sastopamo paziņojumu nozīme:
| Google Search Console statuss | Ko tas var nozīmēt? |
|---|---|
| Discovered – currently not indexed | Google zina URL, bet vēl nav to pārmeklējusi |
| Crawled – currently not indexed | Lapa ir pārmeklēta, bet nav indeksēta |
| Excluded by noindex tag | Indeksēšanu aizliedz noindex |
| Blocked by robots.txt | Pārmeklēšanu ierobežo robots.txt |
| Duplicate, Google chose different canonical | Google izvēlējusies citu lapas versiju |
| Server error (5xx) | Serveris nav veiksmīgi apstrādājis pieprasījumu |
Ne visi neindeksētie URL ir kļūda. Piemēram, pārvirzītas adreses, apzināti bloķētas lapas un satura dublikāti daudzos gadījumos nav jāiekļauj Google indeksā. Tādēļ svarīgāk par kopējo neindeksēto URL skaitu ir saprast, vai Google indeksā atrodas uzņēmumam nozīmīgākās lapas – pakalpojumi, kategorijas, produkti un vērtīgākie raksti.
Kāpēc indeksēšanas problēmas nevajadzētu ignorēt?
Ja Google neindeksē uzņēmuma svarīgākās lapas, tās nevar pilnvērtīgi piedalīties organisko meklēšanas rezultātu atlasē. Tas var ierobežot potenciālo klientu iespējas atrast uzņēmuma pakalpojumus vai produktus. Tomēr indeksēšana pati par sevi vēl nenodrošina augstas pozīcijas. Tā ir tikai viens no priekšnosacījumiem redzamībai meklētājprogrammās.
Indeksēšanas problēmu risināšana jāsāk ar diagnostiku. Dažkārt pietiek izlabot vienu nepareizu iestatījumu, savukārt lielākos interneta veikalos var būt nepieciešama produktu kataloga, URL struktūras vai satura ielādes tehnoloģijas pārskatīšana. Regulāra Google Search Console datu pārbaude un savlaicīga tehnisko problēmu novēršana palīdz nodrošināt, ka uzņēmuma svarīgākais saturs ir pieejams meklētājprogrammai.
Webdev.lv palīdz uzņēmumiem izstrādāt un pilnveidot mājaslapas un interneta veikalus, pievēršot uzmanību arī tehniskajai SEO optimizācijai un meklētājprogrammu piekļuvei vietnes saturam.
