Common Crawl Arşiv Sorgulama

Common Crawl arşivinde bir sitenin sayfaları nasıl bulunur?

Alan adını yukarıdaki kutuya yaz, bir tarama seç ve Sorgula’ya bas. Araç, Common Crawl’ın herkese açık CDX dizinine url=alanadi.com/* sorgusunu gönderir ve o taramada siteden kaydedilen her sayfayı tarih, HTTP durum kodu, MIME türü, boyut ve kaydın bulunduğu WARC dosyasıyla listeler. Bir satırdaki Ayrıntı düğmesi, kaydın kendisini Common Crawl sunucusundan bayt aralığıyla okuyup HTTP başlıklarını, sayfa başlığını, meta açıklamasını ve sayfadaki bağlantıları gösterir.

Common Crawl nedir?

Common Crawl, interneti düzenli olarak tarayıp sonuçları ücretsiz olarak yayınlayan kâr amacı gütmeyen bir kuruluştur. Her tarama (örneğin CC-MAIN-2026-39) birkaç milyar sayfa içerir ve yaklaşık her ay yenisi yayınlanır. Araştırmacılar, arama motorları ve dil modelleri bu veriyi kullanır. Bir sayfanın hangi taramada yer aldığını görmek; eski içeriği bulmak, kaldırılan sayfaları tespit etmek ya da sitenin taranma geçmişini incelemek için işe yarar.

WARC, WAT ve WET dosyaları arasındaki fark

Dizindeki her kayıt, sayfanın hangi WARC dosyasında, kaçıncı baytta ve kaç bayt uzunlukta olduğunu söyler. Araç bu bilgiyle tüm dosyayı (yaklaşık 1 GB) indirmeden yalnızca ilgili kaydı alır ve WAT dosyasındaki üst veriyi tarayıcında yeniden çıkarır. İlgili WAT dosyasının adresi de ayrıntı penceresinde yer alır.

Durum kodları ve kayıt türleri

• 200: Sayfa başarıyla alındı ve içeriği arşivde.
• 301 / 302: Yönlendirme. Bu kayıtlar crawldiagnostics klasöründe tutulur; hedef adres “Yönlendirme” olarak gösterilir.
• 404 / 410: Tarama sırasında sayfa bulunamadı. Kaldırılmış sayfaları bulmak için kullanışlıdır.
• robots.txt: Common Crawl, sitenin robots.txt kurallarına uyar; engellenen sayfalar arşive girmez.

Sitem neden arşivde yok ya da az sayfası var?

Common Crawl her taramada interneti eksiksiz taramaz; bağlantı alan, popüler sayfalara öncelik verir. Yeni ya da az bağlantı alan bir sitenin yalnızca ana sayfası görünebilir veya hiç görünmeyebilir. Önceki taramaları seçerek tekrar dene. robots.txt dosyasında CCBot engellendiyse site taranmaz; bunu ya da sitenin yönlendirmelerini yönlendirme kontrolü aracıyla inceleyebilirsin. Sitenin hızlı ve erişilebilir olması taranma şansını artırır; bunun için web hosting paketlerine göz atabilirsin.

Common Crawl dizini neden bazen yanıt vermiyor?

Dizin sunucusu (index.commoncrawl.org) yoğun kullanılır ve zaman zaman 502 ya da 504 hatası döner. Araç bu durumda isteği birkaç kez tekrarlar. Yine de olmazsa birkaç dakika sonra dene ya da listeden daha eski bir tarama seç.