Böyük Həcmli Saytlarda Crawl Budget (Axtarış Büdcəsi) Optimizasiyası: Log Fayllarının Analizi və Texniki SEO Strategiyaları

Rəqəmsal dünyanın nəhəngləri — yüz minlərlə, hətta milyonlarla səhifəyə sahib olan e-ticarət platformaları, xəbər portalları və böyük kataloq saytları üçün SEO yalnız açar sözlərin optimallaşdırılması və backlink qazanmaqdan ibarət deyil. Bu miqyasda ən böyük rəqabət və performans maneəsi çox vaxt gözlə görünməyən bir infrastruktur problemindən qaynaqlanır: Crawl Budget (Axtarış Büdcəsi) çatışmazlığı.

Əgər axtarış motorlarının botları (xüsusilə Googlebot) saytınızdakı yeni və ya yenilənmiş səhifələri vaxtında kəşf edib indeksləyə bilmirsə, apardığınız bütün digər SEO fəaliyyətləri əhəmiyyətini itirir. Bu məqalədə böyük həcmli (Enterprise) saytlarda axtarış büdcəsinin necə idarə olunmasını, server log fayllarının dərin analizi vasitəsilə Googlebot-un real davranışını necə izləyə biləcəyinizi və texniki SEO strategiyaları ilə tarama səmərəliliyini necə artıracağınızı addım-addım təhlil edəcəyik.

---

Crawl Budget (Axtarış Büdcəsi) Nədir və Nə üçün Önəmlidir?#

Sadə dillə desək, Crawl Budget — Googlebot-un müəyyən bir zaman kəsiyində (adətən bir gün ərzində) saytınızda skan etdiyi (taradığı) və sorğu göndərdiyi ümumi URL sayıdır. Google hər bir sayt üçün sonsuz resurs ayıra bilməz. İnternetdəki milyardlarla veb-saytı skan etmək üçün Google nəhəng server parklarından istifadə edir və bu proses ciddi enerji və hesablama gücü tələb edir.

Googlebot-un saytınıza ayırdığı büdcə iki əsas amildən asılıdır:

1. Crawl Limit (Skan Limit): Serverinizin yüklənməyə dözümlülüyü. Əgər serveriniz Googlebot-un sorğularına gec cavab verirsə (yüksək TTFB - Time to First Byte), Googlebot serverinizin çökməməsi üçün skan sürətini dərhal azaldır.
2. Crawl Demand (Skan Tələbi): Saytınızın populyarlığı və yenilənmə tezliyi. Çox tez-tez yenilənən və yüksək nüfuza (Domain Authority) malik saytlar daha tez-tez və daha çox skan edilir.

Böyük saytlarda əsas problem Googlebot-un faydasız, dublikat və ya lazımsız səhifələri skan edərək əsl dəyərli səhifələrə (məsələn, yeni məhsullar və ya xidmət səhifələri) vaxt və resurs çatdıra bilməməsidir. Bu vəziyyətdə aşağıdakı düsturla ifadə olunan tarama səmərəliliyi kəskin şəkildə aşağı düşür:

Taranma Səmərəliliyi = (İndekslənmiş Səhifələr / Ümumi Skan Edilmiş Səhifələr) * 100

Əgər bu göstərici 50%-dən aşağıdırsa, deməli, Googlebot saytınızda ciddi şəkildə büdcə itkisinə yol verir.

"Googlebot-un saytınızı skan etməsi pulsuz deyil. Hər bir sorğu Google-un serverlərində enerji və hesablama gücü sərf edir. Buna görə də, Googlebot faydasız səhifələrdə vaxt itirməyi sevmir."

---

Log Faylları: Googlebot-un Saytınızdakı Həqiqi Davranışını İzləmək#

Çox vaxt SEO mütəxəssisləri Google Search Console (GSC) hesabatlarına güvənirlər. Lakin GSC-dəki məlumatlar həm gecikmə ilə gəlir (adətən 24-48 saat), həm də ümumiləşdirilmiş (sampled) şəkildə təqdim olunur. Googlebot-un saytınızda atdığı hər bir addımı, milisaniyə dəqiqliyi ilə görməyin yeganə yolu Server Log Fayllarının Analizidir.

Server log faylı (məsələn, Apache və ya Nginx logları) serverinizə gələn hər bir sorğunun qeydiyyat kitabıdır. Hər bir sətir bir sorğunu ifadə edir və aşağıdakı vacib parametrləri özündə saxlayır:

• IP Ünvanı: Sorğunu göndərən müştərinin IP-si (Googlebot-un həqiqi IP-si olub-olmadığını yoxlamaq üçün vacibdir).
• Zaman möhürü (Timestamp): Sorğunun dəqiq vaxtı.
• Sorğu Metodu: GET, POST və s.
• URI (URL yolu): Skan edilən səhifə.
• HTTP Status Kodu: Serverin verdiyi cavab (200, 301, 404, 503 və s.).
• User-Agent: Sorğunu göndərən botun adı (məsələn, Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)).

Log Analizi Zamanı Diqqət Yetirilməli Əsas Metriklər və HTTP Status Kodları

Googlebot-un göndərdiyi sorğulara serverinizin verdiyi cavablar axtarış büdcəsinin səmərəliliyinə birbaşa təsir edir. Aşağıdakı cədvəldə status kodlarının Crawl Budget-ə təsirini görə bilərsiniz:

---

Python ilə Log Fayllarının Avtomatlaşdırılmış Analizi (Praktik Tətbiq)#

Böyük həcmli saytların log faylları gigabaytlarla ölçülür. Bu faylları Excel-də açmaq qeyri-mümkündür. Bu prosesi avtomatlaşdırmaq üçün Python proqramlaşdırma dilindən və pandas kitabxanasından istifadə etmək ən effektiv yoldur.

Aşağıdakı Python skripti, Nginx server log faylını oxuyur, yalnız Googlebot tərəfindən edilən sorğuları süzgəcdən keçirir və status kodlarının paylanmasını analiz edir:

import pandas as pd
import re

# Log faylının yolu
log_file_path = "nginx_access.log"

# Googlebot-u müəyyən etmək üçün regex
googlebot_pattern = r"Googlebot"

# Log sətirlərini analiz etmək üçün regex şablonu
log_pattern = re.compile(
    r'(?P<ip>\S+) \S+ \S+ \[(?P<time>.*?)\] "(?P<request>.*?)" (?P<status>\d{3}) (?P<size>\S+) "(?P<referrer>.*?)" "(?P<user_agent>.*?)"'
)

parsed_logs = []

# Log faylını sətir-sətir oxuyuruq
with open(log_file_path, "r", encoding="utf-8") as file:
    for line in file:
        match = log_pattern.match(line)
        if match:
            data = match.groupdict()
            # Yalnız Googlebot sorğularını seçirik
            if re.search(googlebot_pattern, data["user_agent"], re.IGNORECASE):
                parsed_logs.append(data)

# Dataframe yaradırıq
df = pd.DataFrame(parsed_logs)

# Status kodlarını sayırıq
if not df.empty:
    df["status"] = df["status"].astype(int)
    status_counts = df["status"].value_counts()
    print("--- Googlebot Status Kodlarının Paylanması ---")
    print(status_counts)
    
    # Ən çox skan edilən 10 URL
    df["url"] = df["request"].apply(lambda x: x.split()[1] if len(x.split()) > 1 else x)
    top_urls = df["url"].value_counts().head(10)
    print("\n--- Ən Çox Skan Edilən 10 URL ---")
    print(top_urls)
else:
    print("Log faylında Googlebot sorğusu tapılmadı.")

Skriptin İş Mexanizmi:

1. Regex (Müntəzəm İfadələr): Nginx log formatındakı hər bir parametri (IP, Zaman, Request, Status, User-Agent) ayırır.
2. Filtrləmə: User-Agent daxilində "Googlebot" sözü keçən bütün sətirləri tapır.
3. Analiz: Hansı status kodunun (məsələn, neçə dənə 404 və ya 503 xətası) baş verdiyini və Googlebot-un ən çox hansı URL-ləri ziyarət etdiyini konsola çıxarır.

---

Crawl Budget-i Maksimuma Çatdırmağın 5 Qızıl Qaydası#

Log analizini tamamladıqdan sonra növbəti addım aşkar olunmuş problemləri aradan qaldırmaq və axtarış büdcəsini optimallaşdırmaqdır. Bunun üçün aşağıdakı 5 texniki SEO strategiyasını tətbiq etməlisiniz:

1. Robots.txt ilə Lazımsız Parametrləri və Səhifələri Bloklayın

E-ticarət saytlarında filtrasiya (faceted navigation) sistemləri milyonlarla fərqli URL kombinasiyası yaradır (məsələn: /kisi-ayaqqabi?color=black&size=42&sort=price_asc). Bu səhifələrin demək olar ki, hamısı dublikat məzmundur və Googlebot-un büdcəsini tamamilə məhv edir.

Robots.txt faylınızda bu parametrləri bloklayaraq Googlebot-un onları skan etməsinin qarşısını alın:

User-agent: Googlebot
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?sort=
Disallow: /search/  # Daxili axtarış nəticələrini mütləq bağlayın

2. Daxili Link Strukturunu (Internal Linking) Gücləndirin

Googlebot sayt daxilində linkləri izləyərək hərəkət edir. Əgər bir səhifəyə saytın heç bir yerindən link verilməyibsə (Orphan Page), Googlebot həmin səhifəni heç vaxt kəşf edə bilməyəcək. Əsas kateqoriyalarınızdan və çox trafik alan səhifələrinizdən yeni və indekslənməsini istədiyiniz səhifələrə birbaşa daxili linklər verin. Bu, həmin səhifələrin "Crawl Demand" (Skan Tələbi) göstəricisini artıracaq.

3. Zəncirvari Yönləndirmələri (Redirect Chains) Təmizləyin

Əgər bir URL digərinə, o da öz növbəsində üçüncüsünə yönlənirsə (URL A -> URL B -> URL C), Googlebot bu zənciri izləyərkən hər addımda əlavə vaxt itirir. Çoğu vaxt Googlebot 3-4 yönləndirmədən sonra skan etməyi dayandırır. Bütün yönləndirmələri birbaşa son hədəfə yönləndirin (URL A -> URL C).

4. Server Cavab Vaxtını (TTFB) Azaldın

Googlebot-un saytınızı skan etmə sürəti serverinizin cavab sürəti ilə birbaşa mütənasibdir. Server cavab vaxtını (TTFB) 200ms-nin altına salmaqla Googlebot-un eyni zaman kəsiyində daha çox səhifə skan etməsinə şərait yarada bilərsiniz. Bunun üçün:

• Verilənlər bazası sorğularını optimallaşdırın (Database Indexing).
• Redis və ya Memcached kimi keşləmə (caching) sistemlərindən istifadə edin.
• Şəkilləri və statik faylları CDN (Content Delivery Network) vasitəsilə çatdırın.

5. XML Sitemaps-ı Tamamilə Təmiz Saxlayın

XML sayt xəritəniz (sitemap.xml) yalnız və yalnız 200 OK status kodu qaytaran, indekslənməyə açıq (noindex olmayan) və kanonik (canonical) URL-lərdən ibarət olmalıdır. Sayt xəritəsində 404 xətası verən və ya 301 ilə yönlənən URL-lərin olması Googlebot-un sayt xəritənizə olan güvənini azaldır və skan tezliyini aşağı salır.

---

Case Study: 500,000+ Səhifəlik E-ticarət Saytında Crawl Budget Optimizasiyası#

Real bir layihədən götürülmüş nümunəyə nəzər salaq. Azərbaycanın böyük onlayn mağazalarından birində 500,000-dən çox məhsul səhifəsi mövcud idi, lakin Google Search Console hesabatlarına əsasən, bu səhifələrin yalnız 42%-i indekslənmişdi. Yeni əlavə olunan məhsulların Google-da görünməsi bəzən 3-4 həftə çəkirdi.

Aparılan Analizlər:

Server log faylları analiz edildikdə məlum oldu ki, Googlebot gündəlik təxminən 100,000 sorğu göndərir. Lakin bu sorğuların:

• 55%-i filtr parametrləri olan lazımsız URL-lərə (?filter_size=... və s.),
• 15%-i daxili axtarış səhifələrinə (/search?q=...),
• 10%-i köhnə, silinmiş və 404 xətası verən məhsul səhifələrinə gedir.
• Yalnız 20%-i real, aktiv məhsul və kateqoriya səhifələrini əhatə edir.

Tətbiq Olunan Həll Yolları:

1. Robots.txt yeniləndi: Bütün filtr parametrləri və daxili axtarış URL-ləri skan edilməyə bağlandı.
2. 404-lər təmizləndi: Silinmiş məhsullara verilən daxili linklər tamamilə silindi və bu URL-lər müvafiq üst kateqoriyalara 301 ilə yönləndirildi.
3. Dinamik Sitemap yaradıldı: Yalnız stokda olan və aktiv məhsulların daxil edildiyi avtomatlaşdırılmış XML sitemap tətbiq olundu.

Nəticə:

Optimallaşdırmadan cəmi 4 həftə sonra Googlebot-un faydalı səhifələri skan etmə nisbəti 20%-dən 92%-ə yüksəldi. Yeni əlavə olunan məhsulların indekslənmə müddəti 3 həftədən 6 saata düşdü. Ümumi orqanik axtarış trafiki isə 3 ay ərzində 48% artım göstərdi.

---

Nəticə və Gələcək Trendlər#

Böyük həcmli veb-saytların idarə edilməsində texniki SEO və Crawl Budget optimizasiyası lüks deyil, mütləq bir ehtiyacdır. Googlebot-un vaxtını və resurslarını səmərəli idarə etmək, birbaşa olaraq biznesinizin gəlirlərinə və rəqəmsal görünürlüyünə təsir edir.

Gələcəkdə Google-un süni intellekt əsaslı axtarış motorlarına (SGE, Gemini) daha çox resurs ayıracağını nəzərə alsaq, standart veb-sayt skan etmə xərclərini daha da azaltmağa çalışacağı gözlənilir. Bu isə o deməkdir ki, yaxın illərdə Crawl Budget optimizasiyası və log analizi texniki SEO-nun ən kritik və həlledici sahəsi olaraq qalacaq.

Tövsiyə olunan növbəti addım: Server administratorunuzdan keçən ayın log fayllarını tələb edin, yuxarıda təqdim etdiyimiz Python skriptini işə salın və Googlebot-un saytınızda harada vaxt itirdiyini bu gündən etibarən kəşf edin!