Come eseguire il crawl di una pagina Web con Scrapy e Python 3

Introduzione

Il web scraping è il processo di estrazione di dati da siti web. È un’attività comune utilizzata in vari settori come l’analisi dei dati, l’estrazione di informazioni e la costruzione di database. Scrapy è un framework Python gratuito e open source per l’estrazione di dati dal web. Questo tutorial ti guiderà attraverso i passaggi per eseguire il crawl di una pagina web utilizzando Scrapy e Python 3.

Installazione di Scrapy

Per iniziare, è necessario installare Scrapy sul tuo sistema. Puoi farlo utilizzando il seguente comando:

shell
pip install scrapy


Creazione di un progetto Scrapy

Dopo aver installato Scrapy, è necessario creare un nuovo progetto per il tuo spider di estrazione dati. Puoi farlo eseguendo il seguente comando:

shell
scrapy startproject tutorial


Questo creerà una nuova directory denominata “tutorial” contenente la struttura del progetto di base di Scrapy.

Creazione di uno spider

Uno spider Scrapy è una classe che definisce come estrarre i dati dal web. Per creare un nuovo spider, esegui il seguente comando nella directory del progetto:

shell
scrapy genspider example example.com


Questo creerà un file “example.py” nella directory “spiders” del progetto. Questo file conterrà il codice per il tuo spider di estrazione dati.

Estrazione dei dati con CSS

Dopo aver creato il tuo spider, è necessario specificare come estrarre i dati dal sito web. Per farlo, puoi utilizzare le selezioni CSS. Le selezioni CSS sono una sintassi utilizzata per selezionare elementi in un documento HTML.

Per estrarre i dati, aggiungi il seguente codice al tuo spider:

python
def parse(self, response):

Estrai il titolo della pagina

title = response.css('title::text').get()

Estrai tutti i paragrafi

paragraphs = response.css('p::text').getall()


Salvataggio dei dati

Dopo aver estratto i dati, è necessario salvarli. Puoi farlo utilizzando i feed di dati di Scrapy. I feed di dati sono una classe che definisce come salvare i dati estratti.

Per salvare i dati, aggiungi il seguente codice al tuo spider:

python
class ExampleSpider(scrapy.Spider):
...

def __init__(self, filename=None, args, *kwargs):
super(ExampleSpider, self).__init__(args, *kwargs)
self.filename = filename

def closed(self, reason):
self.logger.info('Salvataggio dei dati nel file: %s', self.filename)
with open(self.filename, 'wb') as f:
f.write(self.crawler.stats.get_stats().as_json().encode('utf-8'))


Esecuzione dello spider

Dopo aver creato e salvato lo spider, è possibile eseguirlo utilizzando il seguente comando:

shell
scrapy crawl example -o data.json


Questo eseguirà lo spider ed estrarrà i dati dal sito web specificato. I dati estratti verranno salvati nel file “data.json”.

Conclusione

In questo tutorial, hai imparato come eseguire il crawl di una pagina web con Scrapy e Python 3. Hai creato un progetto Scrapy, uno spider e salvato i dati estratti. Con questi passaggi, ora puoi eseguire il crawl di siti web ed estrarre dati preziosi per le tue esigenze di analisi.

FAQ

1. Che cos’è il web scraping?

Il web scraping è il processo di estrazione di dati da siti web.

2. Perché usare Scrapy?

Scrapy è un framework Python gratuito e open source per l’estrazione di dati dal web.

3. Come installo Scrapy?

Puoi installare Scrapy utilizzando il seguente comando:

shell
pip install scrapy


4. Come creo un progetto Scrapy?

Puoi creare un progetto Scrapy utilizzando il seguente comando:

shell
scrapy startproject tutorial


5. Come creo uno spider Scrapy?

Puoi creare uno spider Scrapy utilizzando il seguente comando:

shell
scrapy genspider example example.com


6. Come estraggo i dati con CSS?

Puoi estrarre i dati con CSS utilizzando le selezioni CSS. Le selezioni CSS sono una sintassi utilizzata per selezionare elementi in un documento HTML.

7. Come salvo i dati estratti?

Puoi salvare i dati estratti utilizzando i feed di dati di Scrapy. I feed di dati sono una classe che definisce come salvare i dati estratti.

8. Come eseguo lo spider Scrapy?

Puoi eseguire lo spider Scrapy utilizzando il seguente comando:

shell
scrapy crawl example -o data.json


9. Posso estrarre dati da più pagine web?

Sì, puoi estrarre dati da più pagine web creando più spider e specificando un dominio di partenza per ogni spider.

10. Come posso personalizzare lo spider Scrapy?

Puoi personalizzare lo spider Scrapy modificando il codice Python dello spider. Ad esempio, puoi aggiungere nuove regole di estrazione, gestire le richieste o salvare i dati in un formato diverso.