Kamuya Açık Web Verilerinin Toplanması

Ürün kataloğundaki fiyat ve stok bilgisi, kamu kurumlarının yayımladığı duyurular, ilan sitelerindeki genel kategori sayıları ya da bir sektördeki yeni ürünlerin listesi gibi bilgiler herkese açık sayfalarda durur. Bu bilgileri elle kopyalamak hem zaman alır hem de hata üretir. Küçük bir betik, aynı sayfaları belirli aralıklarla okuyup sonucu tabloya yazarak bu işi düzenli hale getirir.

Bu sayfanın konusu yalnızca giriş yapmadan görülebilen, herkese açık veridir. Üyelik arkasındaki içerik, kişisel profiller, iletişim bilgileri ya da bir sitenin açıkça yasakladığı bölümler kapsam dışıdır. Aynı veri sitenin sunduğu resmi bir dışa aktarma, veri beslemesi ya da lisanslı bir kaynak üzerinden alınabiliyorsa önce o yolu tercih edin; proxy bu yolların olmadığı yerde tamamlayıcı bir araçtır.

Mobil proxy, isteklerinizin bir mobil operatör hattından çıkmasını sağlar. Bu, sitenin mobil kullanıcılara gösterdiği sürümü görmek ya da Türkiye'deki bir mobil ağdan bakıldığında içeriğin nasıl sunulduğunu incelemek istediğinizde anlamlıdır. Sabit bir ofis bağlantısının tek adresinden yapılan gözlemi farklı bir ağ türüyle karşılaştırmak için de kullanılabilir.

Proxy'nin sağlamadığı şeyleri de açıkça yazalım: bir sitenin koşullarını ortadan kaldırmaz, yasal sorumluluğu değiştirmez ve hiçbir siteye erişimi garanti etmez. Bir site sizden yavaşlamanızı istiyorsa doğru yanıt, adres değiştirmek değil, tempoyu düşürmektir.

1. Kaynağı ve izni kontrol edin

   Sitenin kullanım koşullarını okuyun ve robots.txt dosyasında hangi yolların taranabileceğine bakın. Resmi bir veri kaynağı varsa onu kullanın. Bu kontrolü bir kez değil, her yeni kaynakta tekrarlayın.

2. Yalnızca gereken alanları tanımlayın

   Fiyat, başlık, tarih gibi işinize yarayan alanları baştan yazın. Kişisel veri içeren alanları listeye almayın. Az veri toplamak hem kotanızı korur hem de hukuki riski azaltır.

3. Proxy'yi bağlayın ve çıkışı doğrulayın

   Kullanıcı adı, şifre, sunucu adresi ve portu aracınıza girin. Bağlantının çalıştığını Proxy Kontrol aracıyla, çıkış adresini IP Adresim aracıyla görün.

4. Tempoyu belirleyin

   İstekleri sıraya koyun, aralarına bekleme ekleyin ve aynı anda açık bağlantı sayısını düşük tutun. Sabit bir sayı vermiyoruz; ölçü, hedef sitenin normal ziyaretçilerini etkilememektir.

5. Sitenin sinyallerine uyun

   HTTP 429 (çok fazla istek) ya da 503 yanıtı alırsanız durun, bekleyin ve daha yavaş devam edin. Retry-After başlığı varsa ona uyun. Hata sayısı artıyorsa işi durdurup nedenini inceleyin.

6. Sonucu saklayın, tekrar istemeyin

   Okuduğunuz sayfanın içeriğini ve zamanını kaydedin. Değişmeyen bir sayfayı tekrar tekrar indirmek yerine önbellekteki kopyayı kullanın; böylece hem hedef site hem de kotanız korunur.

Aşağıdaki Python örneği requests kütüphanesiyle çalışır. Önce robots.txt kurallarına bakar, izin verilmeyen adresi atlar, her istekten sonra bekler ve site 429 yanıtı verirse daha uzun süre durur. Kullanıcı adı, şifre, sunucu ve port alanları yer tutucudur; kendi bilgilerinizi müşteri panelinden alırsınız.

import time
import urllib.robotparser

import requests

PROXY = "http://KULLANICI_ADI:SIFRE@proxy.example.com:PORT"
USER_AGENT = "OrnekVeriToplayici/1.0"

robots = urllib.robotparser.RobotFileParser("https://www.example.com/robots.txt")
robots.read()

urls = [
    "https://www.example.com/urunler/1",
    "https://www.example.com/urunler/2",
]

session = requests.Session()
session.headers["User-Agent"] = USER_AGENT
session.proxies.update({"http": PROXY, "https": PROXY})

for url in urls:
    if not robots.can_fetch(USER_AGENT, url):
        print("robots.txt izin vermiyor, atlandı:", url)
        continue
    response = session.get(url, timeout=30)
    print(url, response.status_code, len(response.content), "bayt")
    if response.status_code == 429:
        wait = int(response.headers.get("Retry-After", "60"))
        time.sleep(wait)  # site yavaşlamanızı istiyor
    time.sleep(5)  # her istekten sonra bekleme

Bekleme süreleri örnektir; hedef sitenin yapısına göre artırın. Retry-After başlığı tarih biçiminde de gelebilir; üretimde bu durumu ayrıca ele alın. SOCKS5 kullanmak isterseniz requests için ek paket gerekir; ayrıntılar Geliştiriciler sayfasında.

Kotalı paketlerde indirilen her bayt kotadan düşer. Görsel, video ve yazı tipi gibi işinize yaramayan dosyaları indirmemek, sıkıştırmayı açık bırakmak ve değişmeyen sayfaları önbellekten okumak harcamayı belirgin biçimde azaltır. Tarayıcı otomasyonu yerine doğrudan HTTP istemcisi kullanmak da genellikle daha az veri aktarır.

Rotating Mobil Proxy'nin Türkiye GB paketleri tek seferlik kota olarak satılır; kotanın kullanım süresini sipariş öncesinde WhatsApp'tan teyit edin. Sınırsız ifadesi veri kotası içindir, hız için değildir. Sağlayıcı beyanına göre adil kullanım kuralları geçerlidir: sürekli tam kapasiteli kullanım uyarı, hız sınırlaması ya da askıya alma ile sonuçlanabilir.

• Kişisel veri toplamayın. Ad, telefon, e-posta, profil gibi bilgileri listeye almayın; yanlışlıkla gelirse saklamayın.
• Giriş gerektiren alanlara girmeyin. Üyelik arkasındaki içerik bu sayfanın konusu değildir.
• Tempoyu siz yönetin. Sitenin yavaşlama sinyallerini görmezden gelmeyin; IP değiştirerek sınırı aşmaya çalışmayın.
• Kendinizi tanıtın. Anlaşılır bir User-Agent kullanmak, site sahibinin sizinle iletişim kurmasını kolaylaştırır.
• Kayıt tutun. Hangi kaynağı, ne zaman, hangi kurala göre okuduğunuzu not edin; bir soru geldiğinde yanıt verebilirsiniz.

Toplanan veriyi nasıl yorumlayacağınızı veri analizi ve pazar gözlemi sayfası, fiyat odaklı gözlemi e-ticaret fiyat izleme sayfası anlatır. Rotasyon modellerinin farkı için Rotating Mobil Proxy Nedir? rehberine bakın.