gen
03

Ebot, un crawler scritto in Erlang

 

Autore: Lpt on fire!   Trackback           
Tags: ebot,erlang,open-source,web crawler

Condividi & Vota:

  • OkNotizie
  • Upnews
  • Wikio


Ebot

Ebot è un Web crawler scritto in Erlang dall’italiano Matteo Redaelli.

I vari indirizzi vengono raccolti dai vari crawler ed inviati in coda attraverso AMQP. I dati vengono salvati all’interno di database NoSQL come Apache CouchbDB o Riak. Con questa architettura è possibile far girare molti crawler in parallelo e fermarli o farne partire altri senza alcun problema.

Gli indirizzi ed i domini possono essere filtrati, riscritti o normalizzati utilizzando espressioni regolari o funzioni. Il codice è rilasciato sotto licenza GPLv3+.

Ebot, un crawler scritto in Erlang é stato pubblicato su ossblog alle 12:00 di lunedì 03 gennaio 2011.

Popularity: unranked [?]

  • OkNotizie
  • Upnews
  • Wikio



Puoi visualizzare il post originale qui.




Fatal error: Call to undefined function wp23_related_posts() in /home/tuxfeed/public_html/wp-content/themes/df_marine/index.php on line 68