Günümüzde, web üzerindeki verilere ulaşmak ve bunları analiz etmek, birçok yazılım geliştiricisi ve veri bilimcisi için önemli bir beceri haline geldi. Python programlama dilinin esnekliği ve zengin kütüphaneleri sayesinde, web scraping (veri çekme) işlemleri de oldukça kolay hale geldi. Bu yazıda, Python kullanarak basit web scraping tekniklerini öğrenmeye odaklanacağız.

1. Giriş: Web Scraping Nedir ve Neden Kullanılır?

Web scraping, internet üzerindeki sayfalardan veri çekme işlemidir. Bu, bir web sitesindeki belirli bilgilere erişmek veya büyük veri setlerini analiz etmek için kullanılır. Web scraping, birçok endüstride rekabet avantajı elde etmek, pazar araştırması yapmak veya bilgi toplamak için güçlü bir araçtır.

Örneğin, bir haber sitesinden güncel hava durumu bilgilerini çekerek kullanıcılarınıza anlık olarak sunabilir ve böylece ziyaretçilerinize değerli bir hizmet sağlayabilirsiniz.

import requests
from bs4 import BeautifulSoup

url = 'https://www.examplenews.com/weather'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

weather_info = soup.find('div', class_='weather-info')
print(weather_info.text)

Bu örnekte, requests kütüphanesi ile hava durumu bilgilerini içeren bir web sayfasını çekiyoruz. Ardından, Beautiful Soup kütüphanesi ile HTML analizi yapıyor ve gerekli bilgileri çekiyoruz.

2. Python ile Web Scraping Temelleri

Python, web scraping için birçok kütüphaneye sahiptir. Bu bölümde, requests kütüphanesi kullanılarak web sayfalarını nasıl çekeceğimizi öğreneceğiz.

Örneğin, bir e-ticaret sitesindeki ürün fiyatlarını çekerek piyasa fiyatlarını takip edebilir ve kararlarınızı buna göre şekillendirebilirsiniz.

import requests

url = 'https://www.exampleecommerce.com/products'
response = requests.get(url)

product_prices = response.json()['prices']
for product, price in product_prices.items():
    print(f"{product}: {price} TL")

Bu örnekte, bir e-ticaret sitesinden ürün fiyatlarını çekiyoruz. Elde ettiğimiz verileri daha sonra işleyerek fiyat değişiklikleri hakkında bilgi sahibi olabiliriz.

3. Requests Kütüphanesi ile Web Sayfalarını Çekme

Web sayfalarını çekmek için requests kütüphanesi oldukça yaygın olarak kullanılır. Bu bölümde, bu kütüphanenin temel kullanımını inceleyeceğiz.

Örneğin, bir blog sitesinden en popüler yazıları çekerek kendi sitenizde popüler içerikleri paylaşabilirsiniz.

import requests

url = 'https://www.exampleblog.com/popular-posts'
response = requests.get(url)

popular_posts = response.json()['posts']
for post in popular_posts:
    print(f"- {post['title']}")

Bu örnekte, bir blog sitesinden en popüler yazıları çekiyoruz ve bu yazıları kendi sitenizde yayınlamak için kullanabilirsiniz.

4. Beautiful Soup Kullanarak HTML Analizi

Verileri çektikten sonra, Beautiful Soup kütüphanesi ile HTML analizi yapabiliriz. Bu adım, web sayfasındaki yapının anlaşılmasını sağlar.

Örneğin, bir film inceleme sitesinden en son eklenen incelemeleri çekerek kullanıcılarınıza güncel film önerileri sunabilirsiniz.

import requests
from bs4 import BeautifulSoup

url = 'https://www.examplemovies.com/latest-reviews'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

latest_reviews = soup.find_all('div', class_='movie-review')
for review in latest_reviews:
    print(f"- {review.h2.text}: {review.p.text}")

Bu örnekte, bir film inceleme sitesinden en son eklenen incelemeleri çekiyoruz ve bu incelemeleri kullanarak film önerileri oluşturabilirsiniz.

5. CSS Seçicileri ile Veri Filtrasyonu

Web sayfasından çektiğimiz veriler genellikle karmaşık olabilir. Bu bölümde, CSS seçicilerini kullanarak istediğimiz verilere nasıl odaklanacağımızı öğreneceğiz.

Örneğin, bir eğitim sitesinden sadece belirli bir kategoriye ait dersleri çekerek kendi eğitim platformunuz için içerik oluşturabilirsiniz.

import requests
from bs4 import BeautifulSoup

url = 'https://www.examplecourses.com/category/python'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

python_courses = soup.select('.course-card')
for course in python_courses:
    print(f"- {course.h3.text}: {course.p.text}")

Bu örnekte, bir eğitim sitesinden sadece Python kategorisine ait dersleri çekiyoruz ve bu dersleri kendi eğitim platformumuzda kullanabiliriz.

6. Scrapy Framework ile Gelişmiş Web Scraping

Scrapy, Python tabanlı bir framework’tür ve daha gelişmiş web scraping projeleri için kullanılır. Bu bölümde, Scrapy’nin temellerini öğrenip nasıl kullanılacağımıza dair bir giriş yapacağız.

Örneğin, bir forum sitesinden belirli konu başlıklarını ve bu başlıklara ait yorumları çekerek kullanıcılarınıza güncel forum tartışmalarını sunabilirsiniz.

import scrapy

class ForumSpider(scrapy.Spider):
    name = 'forum'
    start_urls = ['https://www.exampleforum.com']

    def parse(self, response):
        topics = response.css('.topic-title')
        for topic in topics:
            yield {
                'title': topic.css('::text').get(),
                'url': topic.css('::attr(href)').get(),
            }

Bu örnekte, Scrapy framework’ü kullanarak bir forum sitesinden konu başlıklarını çekiyoruz.

7. Verileri Kaydetme: Dosya ve Veritabanlarına Nasıl Aktarılır?

Web scraping sonuçlarını kaydetmek önemlidir. Bu bölümde, elde ettiğimiz verileri hem dosyalara hem de veritabanlarına nasıl aktaracağımızı öğreneceğiz.

Örneğin, çektiğiniz ürün fiyatlarını bir CSV dosyasına kaydederek daha sonra bu verileri analiz etmek için kullanabilirsiniz.

import csv

product_prices = {'product1': 20, 'product2': 30, 'product3': 25}

with open('product_prices.csv', 'w', newline='') as csvfile:
    fieldnames = ['product', 'price']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

    writer.writeheader()
    for product, price in product_prices.items():
        writer.writerow({'product': product, 'price': price})

Bu örnekte, çektiğiniz ürün fiyatlarını bir CSV dosyasına kaydediyoruz.

8. Web Scraping Etik ve Hukuki Sorumluluklar

Web scraping yaparken etik kurallara ve hukuki sorumluluklara uymak önemlidir. Bu bölümde, bu konuda dikkate alınması gereken hususları tartışacağız.

Örneğin, web scraping yaparken sitenin robots.txt dosyasını kontrol ederek hangi bilgilerin çekilebileceğini ve hangilerinin çekilemeyeceğini belirleyebilirsiniz.

import requests
from bs4 import BeautifulSoup

url = 'https://www.examplesite.com/robots.txt'
response = requests.get(url)

print(response.text)

Bu örnekte, bir siteye ait robots.txt dosyasını çekerek hangi sayfaların erişilebilir olduğunu kontrol edebilirsiniz.

9. Engelleri Aşmak: IP Engelleme ve Anti-Scraping Tedbirleri

Web siteleri, botları tespit etmek ve engellemek için çeşitli tedbirler alabilir. Bu bölümde, bu engelleri aşmak için kullanılabilecek bazı stratejileri ele alacağız.

Örneğin, bir siteye çok hızlı bir şekilde çok sayıda istek göndermek yerine, istekler arasına rastgele bekleme süreleri ekleyerek bot gibi algılanma olasılığını azaltabilirsiniz.

import requests
import time
import random

url = 'https://www.examplesite.com/data'
for i in range(10):
    response = requests.get(url)
    data = response.json()
    print(f"Data {i + 1}: {data}")

    # Rastgele bekleme süresi ekleyerek anti-scraping önlemlerini atlatma
    time.sleep(random.uniform(1, 3))

Bu örnekte, istekler arasına rastgele bekleme süreleri ekleyerek anti-scraping önlemlerini atlatma stratejisini kullanıyoruz.

10. İleri Düzey Web Scraping Teknikleri ve İpuçları

Son bölümde, web scraping sürecini optimize etmek ve daha karmaşık projeler için bazı ileri düzey teknikleri öğrenmek için bazı ipuçlarına göz atacağız.

Örneğin, bir haber sitesindeki öne çıkan başlıkları çekerek kendi sitenizde dikkat çekici içerikler oluşturabilirsiniz.

import requests
from bs4 import BeautifulSoup

url = 'https://www.examplenews.com/highlights'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

highlights = soup.find_all('div', class_='highlight')
for highlight in highlights:
    print(f"- {highlight.h2.text}: {highlight.p.text}")

Bu örnekte, bir haber sitesinden öne çıkan başlıkları çekiyoruz ve bu başlıkları kendi sitenizde kullanabilirsiniz.

Bu örnekler, Python ile web scraping yaparken kullanabileceğiniz temel teknikleri ve stratejileri içermektedir. Ancak, web scraping yaparken her zaman etik kurallara, hukuki sorumluluklara ve site politikalarına uymak önemlidir. Ayrıca, web scraping işlemlerini gerçekleştirirken hedef sitenin kullanım koşullarını dikkatlice incelemek ve bu koşullara uymak gereklidir.