scrapy-dynamic-configurable, 基於爬蟲的動態可以配置新聞爬蟲

分享于 

2分钟阅读

GitHub

  简体 双语
A dynamic configurable news crawler based Scrapy
  • 源代码名称:scrapy-dynamic-configurable
  • 源代码网址:http://www.github.com/wuchong/scrapy-dynamic-configurable
  • scrapy-dynamic-configurable源代码文档
  • scrapy-dynamic-configurable源代码下载
  • Git URL:
    git://www.github.com/wuchong/scrapy-dynamic-configurable.git
    Git Clone代码到本地:
    git clone http://www.github.com/wuchong/scrapy-dynamic-configurable
    Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/wuchong/scrapy-dynamic-configurable
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
    
    Scrapy动态可以配置

    基于爬虫的动态可以配置新闻爬虫。 有关详细信息,请参阅博客

    ##Requirements

    • Scrapy
    • MySQL
    • Redis
    • SQLAlchemy

    开发中的##Install

    OS X,使用 Homebrew

    
    
    
    
    $ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
    
    
    $ brew install mysql
    
    
    $ brew install redis
    
    
    $ sudo pip install scrapy
    
    
    $ sudo pip install SQLAlchemy
    
    
    $ sudo pip install redis
    
    
    
    

    *

    
    
    
    
    $ sudo apt-get install redis-server mysql-server mysql-client
    
    
    $ pip install scrapy
    
    
    $ pip install SQLAlchemy
    
    
    $ pip install redis
    
    
    
    

    从'db.sql'并还原数据表

    这是 scrapy 1.0的。 这是 scrapy 1.0的。


    相关文章