Tarama Bütçesi

Tarama bütçesi, teknik SEO terimleri arasında dikkat etmeniz gereken bir kriterdir. World Wide Web alanında o kadar çok URL bulunmakta ki, Google’ın bir içeriği keşfetmesi ve dizine eklemesi gün geçtikçe zorlaşmaktadır. GoogleBot’un bir sitede geçireceği zaman sınırlıdır. Bu yüzden web sitesi tarama bütçesini optimize etmeniz gerekmektedir.

Bu içerikte tarama bütçesi (crawl budget) nedir? nasıl optimize edilir? SEO için neden önemlidir? gibi pek çok sorunun cevabını bulabileceksiniz.

Tarama Bütçesi (Crawl Budget) Nedir?

Tarama Bütçesi (Crawl Budget), Googlebot’un bir web sitesini ziyaret ettiğin zaman bir günde tarayacağı sayfa sayısını ifade etmektedir. Web sitenizde yer alan bir içerik 1-2 gün içerisinde dizine ekleniyorsa, o zaman tarama bütçesi konusuna pek fazla odaklanmanıza gerek yoktur.

Siteye eklenen her içerik keşfedildikten ve tarandıktan sonra, dizine ekleneceğinin bir garantisi yoktur. Bir sitenin tarama bütçesi, tarama kapasite ve tarama talebine göre belirlenmektedir.

Tarama bütçesinin boşa harcandığı zaman, arama motorlarının web sitenizi verimli bir şekilde tarayamayacağını ve bu durumun SEO performansına olumsuz etkilediğini biliyor musunuz?

Hazırlamış olduğum SEO Nedir? adlı içeriği de mutlaka göz atmanızı isterim.

Tarama Bütçesi Nasıl Hesaplanır?

Web sitesi tarama bütçesi: arama motorlarının, sınırsız kaynak ve bütçesi ne yazık ki yoktur. İnternette milyarlarca bilgi dolaşmakta, arama motorları kullanıcısına en alakalı içeriği göstermek için web sitelerini keşfetmekte, taramakta ve dizine eklemektedir. Bu işlemlerin ne kadar çok kaynak tükettiğini düşünürsek, web sitesine tarama bütçesini atamak o kadar mantıklıdır.

Yukarıda da bahsettiğimiz gibi tarama kapasitesi ve tarama talebi, tarama bütçesi nasıl hesaplanır? sorusunun cevabı olacaktır.

Tarama bütçesi faktörleri:

• Tarama kapasitesi sınırı (sunucu yükü): Web siteni, Googlebot uğradığı zaman sunucunun gelen tarama trafiğinin ne kadarına yanıt verdiği ve sahibinin nelere izin verdiği ile ilgilidir (bağlantı sayısı ve bekleme süresi).
• Tarama talebi (tarama planlaması): Tarama hızında problem olmasa bile, web sitesinin popülerliğine ve ne sıklıkta güncellendiğine bağlı olarak hangi URL’lerin (yeniden) taranmaya değer olduğu ile ilgilidir.

Tarama bütçesi, teknik SEO alanında yaygın bir terimdir. Tarama bütçesine bazen tarama alanı veya tarama süresi de denir.

Tarama Kapasite Sınırı

Googlebot, bir web sitesini tararken aşırı yoğunluğa yol açmadan sunucuyu erişemez duruma getirmeden taramak istemektedir. Sunucuda aşırı yoğunluğa sebep olmadan, içeriklerin tarama kapsamına alınması için Googlebot’un kullandığı paralel bağlantı sayısı ve veri akışındaki gecikme süresi önemlidir.

Tarama kapasitesi sınırı belirleyen çeşitli faktörler bulunmakta, bunlardan bazıları:

• Sunucu durumu: Altyapıda doğru tercih edilen bir sunucu üzerinde kurulu olan web siteniz ne kadar hızlı yanıt verirse tarama sınırı artacaktır. Web hosting yavaşlar ya da sunucu yanıt vermezse (5XX hataları) tarama sınırı azalmakta ve Googlebot siteniz de daha az içeriği tarayacaktır.
• Google kaynakları: Google’ın kaynakları her ne kadar çok fazla olsa bile asla sınırsız değildir. Böyle bir gerçek durunm var iken Googlebot sitemize taramak için geldiğinde sorunsuz şekilde, hata almadan tarayıp gitmesi gerekir.
• Google Search Console tarama hızı ayarları: Web site sahibi, tarama hızı sınırlandırma işlemi yaparsa, isteğe bağlı olarak tarama hızını düşürebilmektedir. Google’ın maksimum tarama hızını sınırla, seçeneği işaretlenirse saniye başı istek sayısını artırıp azaltabilirsiniz. Burada atlamamanız gereken en önemli nokta, herhangi bir nedenle bant genişliğinde bir azalma olmadığı sürece tarama bütçesini sınırlandırmayınız. Tarama sınırını, yüksek sınırlara getirmek, tarama kapasitesini artırmayacaktır. Varsayılan olarak Google sitemi optimize etsin (önerilen) seçeneği seçilidir.

Bir web sitesinin, aynı sunucu üzerinde çalışan ayrı mobil ve masaüstü sürüme sahip sitelerin, ortak bir tarama kapasite sınırı bulunmaktadır.

Tarama Talebi

Süreklilik çok önemli, Google bir sitenin boyutu, güncelleme sıklığı, içerik kalitesi, alaka düzeyi ve diğer rakip siteler ile kıyaslamakta, web sitesinin taranması için belirlenen süreyi bu şartlara bakarak kullanır.

Önemli olan tarama talebi faktörleri:

• Kişiye özel sayfalar ve önemsiz sayfalar: Googlebot, siz site haritanızda bir URL’i belirtmeseniz bile, keşfettiği tüm URL’leri taramaya çalışmaktadır. URL’lerin birçoğu kopya sayfa, sepetim sayfası, favoriler sayfası, üye sayfası, gizlilik sözleşmesi sayfaları, kvkk sayfaları gibi az ve değişken olmayan içerikler “noindex” etiketlenmelidir. Bu tür sayfaların dizine eklenmesi ve taranması, tarama bütçesini olumsuz etkileyecek faktörlerdendir. Anahtar kelime yamyamlığı, sonucundan önemsiz sayfalar oluşmakta ve dizine eklenmektedir.
• Tazelik: Dizine eklenmiş olan sayfalarınızı ne kadar sık günceller ve birbiri ile bağlantı verirseniz Google sitenizi sürekli ziyaret etmek isteyecektir.
• Popülarite: Web sayfanızın dahili ve harici sahip olduğu bağlantı sayısı oldukça önemlidir.

Tarama Bütçesi Nasıl Optimize Edilir?

Web sitesinin tarama bütçesi nasıl optimize edilir? konusunda en iyi önerileri bu kısımda bulabilirsiniz. Küçük bir işletme sitesine sahip değilseniz, tarama bütçesine mutlaka optimizasyon listenizde yer almalıdır.

SEO için tarama bütçesini optimize etmek:

• Web sitenin ve sayfaların hızını ve performansını optimize etmelisiniz. Hızlı yüklenen bir web sitesinde Googlebot daha fazla içeriği keşfedecektir.
• Web sayfaları arasında oluşturulan dahili bağlantılar ile Googlebot daha hızlı içerikleri bulacaktır. Web sitesinde sayfalar arasında birbiri ile bağlantı oluşturun ve yetim sayfa (orphan page) bırakmayınız. Dahili bağlantılara nofollow etiketi verilmemelidir. Harici bağlantılara nofollow etiketi vermelisiniz.
• Akıcı ve düzgün yapılandırılmış bir web site mimarisi, hem kullanıcı deneyimi hem de içeriklerinizi bulma ve anlama konusunda Googlebot’a yardımcı olmaktadır.
• Aynı (yinelenen) ve zayıf içeriğe sahip olan sayfalar tarama bütçesini boşa harcamaktadır. SEO için yüksek kaliteli içerik oluşturma konulu yazımı mutlaka okuyunuz.
• “noindex” etiketine sahip olan sayfaları site haritanızda listelemeyiniz.
• Çok fazla yönlendirme ve yönlendirme zinciri oluşturmayınız.
• 404 hata durum koduna sahip sayfalarınız var ise onları düzeltiniz.
• Robots.txt dosyası ile önemsiz olan sayfaları ve URL parametleri taranmasını engelleyiniz.
• Web sitenizde mümkün olduğunca HTML kullanmaya çalışın. Googlebot, javascript’i tarama başarılı ama diğer botlar için bunu söylemek şuanlık pek mümkün değildir.
• Site haritası güncel olmalı ve <lastmod> değeri mutlak yer verilmelidir.
• Hreflang etiketi kullanımı önemli ve URL’de <loc> değeri kullanılmalıdır.
• Yinelen içerikler için doğru canonical URL kullanımı tarama bütçesine olumlu etkisi olacaktır.

Tarama Bütçesi SEO İçin Neden Önemlidir

Tarama bütçesinin önemi: Google bir sayfayı dizine eklemezse, içeriğiniz hiçbir anahtar kelime için sıralanmayacaktır. Bu sebeple, içerik sayfa sayınız sitenizin tarama bütçesini aşıyorsa, Google search console, kapsam raporunda dizine eklenmemiş sayfalarınız olduğunu görebilirsiniz.

Dizine eklenmemiş olan sayfalarınızın sebebi tarama bütçenizin boşa harcanması ya da içeriğiniz kalite problemi yaşıyor olabilir. Altyapısı ya da teması iyi optimize edilmiş pek çok sitenin, tarama bütçesi konusunda endişelenmesine gerek yoktur. Google, donanımsal ve yazılım problemi olmayan web sitelerinin, içeriklerini bulma, tarama ve dizine ekleme konusunda gerçekten en iyisidir.

Tarama bütçesi SEO için neden önemli olduğu konusunda dikkat etmeniz gereken önemli noktalar:

• Büyük bir site sahibi: 10.000 üzerinde web sayfasına sahip bir web sitesi bu tür sayfalar genellikle e-ticaret sitesi olmakta, Google tüm içerikleri keşfetmekte sorun yaşayabilir.
• Toplu ürün veya sayfa yükleme: Web sitenize kısa zaman içerisinde toplu olarak yüzlerce hatta binlerce ürün veya sayfa eklemesi yaptıysanız, iyi bir tarama bütçenizin olması gerekmektedir.
• Oldukça fazla yönlendirme: Web sitenizde bulunan oldukça fazla yönlendirmeler, tarama bütçenizi tüketmektedir.

Her web site sahibi, arama motorları tarafından içeriklerinin çabucak dizine eklenmesini istemektedir. Yeni sayfa oluşturduğunuz, mevcut içeriği güncellediğiniz bir an önce içeriklerinizin istediğiniz anahtar kelimelerde bulunmasını istersiniz. Web sayfalarınız ne kadar çabuk indekslenirse, onlardan bir o kadar faydalanabilirsiniz.

Tarama bütçesini boşa harcamak, arama motorlarının web sitenizdeki önemli içeriklerini taranmasının ve dizine eklemesinin önüne geçmektedir. Googlebot, web sayfanızda sizin ve kullanıcılar için önemsiz olan sayfalarda zaman harcaması, yeni ve güncellenmiş olan önemli içeriklerin keşfedilmesini engellemektedir. Dizine eklenmemiş sayfalarınız var ise, arama motorları aracılığıyla sitenizi organik ziyaretçi ve trafik ne yazık ki getiremezsiniz.

Bunun nereye vardığını görebilirsiniz: Web sitenizi tarama bütçesi açısından optimize etmemek SEO performansınızı olumsuz etkilemektedir.

Bir Tarayıcı (Googlebot) Nasıl Çalışır?

Googlebot ve diğer arama motoru örümcekleri, bir web sitesinde taranacak URL’lerin listesini almaktadır. Arama botları bu tarama listesini sistematik olarak ziyaret eder. Ziyaret öncesinde robots.txt dosyasını her seferinde kontrol etmektedir. Her bir URL için, robots.txt dosyasını kontrol etmekte çünkü o URL’in taranıp taranamayacağını kontrol etmektedir. Googlebot, bir URL taradığı esnada, o sayfada keşfettiği yeni URL’leri tarama listesine ekleyecektir.

Google’a tarama listesi oluşturup iletmenin bir yöntemi bulunmamaktadır. İnternette ki birkaç sinyal, Google ve diğer arama motorlarına o URL’i taraması gerektiğini tetiklemektedir. Sayfayı işaret eden backlink bağlantıları, web2.0 platformlarında yapılan paylaşımlar (facebook, twitter, linkedin vs.), XML site haritası güncellemesi gibi pek çok Googlebot’u harekete geçirmektedir.

Tarama Bütçesi Hakkında Sıkça Sorulan Sorular

Sonuç

SEO için tarama bütçesi optimizasyonu, teknik SEO kapsamında yer almaktadır. E-ticaret SEO için mutlaka tarama kapasitesi ve tarama talebi kriterlerini göz önünde bulundurun. Teknik SEO optimizasyonu hakkında detaylı bilgi almak için benimle iletişim kurabilirsiniz. Tarama bütçesi hakkında görüşlerinizi ve sorularınızı yorum olarak bekliyorum.