Link: http://visitas.minam.gob.pe/frmConsulta.aspx

see errors in Hora Ing. http://manolo.rocks/search/?q=pcm&page=208

Lo que debe hacer este Dockerfile es lo siguiente:

• Agregar el archivo de configuracion config.json.
• Instalar una base de datos Postgres.
• Instalar scrapy y todas sus dependencias (pip install -r requirements.txt).
• Montar las carpetas para trabajar.

Referencias:

• Dockerfile Reference
• Dockerizing PostgreSQL

entity== None was not saved into the db.

He creado un scraper para obtener las visitas del ministerio de Cultura https://github.com/matiskay/mc-visits. Este scraper usa beautifulsoup para parsear los datos, la idea es reescribir este script usando scrapy para integrarlo con este repositorio.

Link: http://visitas.mcultura.gob.pe/?r=consultas/visitaConsulta/index
Datos de las visitas: https://github.com/matiskay/mc-visits/tree/master/mc-visits
Ideas para crear el scraper: https://github.com/matiskay/mc-visits/blob/master/cultura.py#L21-L42

Item Constrains
---------------
This module provides several classes that can be used as conditions to check
certain item constraints. Conditions are just callables that receive a dict and
*may* raise an AssertionError if the condition is not met.
Item constraints can be checked automatically (at scraping time) to drop items
that fail to meet the constraints. In order to do that, add the constraints
pipeline to your ITEM_PIPELINES:
    ITEM_PIPELINES = ['scrapylib.constraints.pipeline.ConstraintsPipeline']
And define the constraints attribute in your item:
    class Product(Item):
        name = Field()
        price = Field()
        colors = Field()
        constraints = [
            RequiredFields('name', 'price'),
            IsPrice('price'),
            IsList('colors'),
            MinLen(10, 'name'),
        ]

• Link https://github.com/scrapinghub/scrapylib/tree/master/scrapylib/constraints

• rescrape Congreso
• rescrape Minem

due to date being object and not string in format YYYY-MM-DD. So the hash has changed. Need to fix the date and delete, rescrape and reindex.

See #19

Link: https://circleci.com/pricing/

Podemos crear una organizacion en scrapinghub y aprovechar el plan free.

url: https://codecov.io/#features

The current pattern in the code to handle first element extraction is the following

        try:
            total_string = response.css('#LblTotal').xpath('./text()').extract()[0]
        except:
            total_string = ''

This pattern is pretty ugly the best way to do it is to use extract_first(default='') method.

sel.xpath('//div/[id="not-exists"]/text()').extract_first(default='not-found')
'not-found'

• Documentation: http://doc.scrapy.org/en/latest/topics/selectors.html#id1

Con el fin de rastrear los items scrapeados por una spider sugiro agregar la siguiente informacion a cada spider.

• page_number
• spider_name
• crawled_at

Por ahora esos campos serian utiles.

Actualmente el proceso de guardar los datos esta junto al proceso de Limpieza de datos. Lo idea es separar el proceso de guardado de datos en un pipeline independiente. Agregando los datos de connection en el archivo settings.py.

Referencias

• https://github.com/darkrho/scrapy-redis
• https://github.com/sebdah/scrapy-mongodb

Con el fin de comenzar a testear las spider #24 y para verificar que los datos corresponden a una fecha especifica sugiero agregar una variable extra llamada date_end.

scrapy crawl minedu -a date_start="2015-08-14" -a date_end="2015-08-16"

Esta variable va permitir crawlear paginas espeficas y ademas va permitir testar las spider puesto que los datos de una determinada fecha son invariantes.

https://www.quantifiedcode.com/app/project/396d38fe507441fa92d7286d07c8577a/file_revision/07fb02fb40614450ae26196d2db76b69

Ahora que se esta en proceso de refactorizar las spiders y agregar items loaders para la recoleccion de datos. Nos vemos con la necesidad de testar las spider de una manera programatica.

Actualmente mi forma de testar una spider es:

• Comparar el total de elementos de una fecha.

• Escoger un item de la primera pagina y buscar este elemento en la base de datos.

• Escoger un item de una pagina intermedia y buscar este elemento en la base de datos.

• Escoger un item de la pagina final y buscar este elemento en la base de datos.

  Cosas interesantes sobre los registros de visitas.

• Hay "invarianza" en el total de visitas de una determinada fecha.

• Hay "invarianza" en los items de una determinada fecha.

Si es que spider contracts no funciona para nuestro caso la idea seria usar pytest conectado a la base de datos y verificar que los registros estan en la base de datos.

Creo que se va necesitar agregar una comando para hacer crawling de una fecha especifica.

Link: Spider Contracts: http://doc.scrapy.org/en/latest/topics/contracts.html

Actualmente estoy trabajando en esta spider. Estoy agregando este issue para no duplicar esfuerzos en la creacion de spiders.

link: http://intranet5.minsa.gob.pe/RegVisitasCons/listado.aspx

La idea es tener una lista de todos los ministerios y entidades que ya estan scrapeadas y un lista de las que faltan por scrapear.

Link: https://codeclimate.com

take this as template https://github.com/aniversarioperu/manolo_scraper/blob/master/run_scraper_inpe.sh

the script should take the name of the spider as argument and use it to run scrapy:

scrapy crawl $(spider_name) ....

In order to crawl Ministerio de Relaciones Exteriores, we need to create a captcha solver using HOG and a Machine Learning algorithm like Support Vector Machines. We can grab ideas from MNIST examples. The most difficult part here is to find the dataset for letter and numbers.

Example:

• Input:
• Output: 4ZPZ1

References

• http://scikit-image.org/
• http://scikit-learn.org/
• Example and Dataset: http://www.boyter.org/decoding-captchas/
• http://www.cs.ou.edu/~amy/courses/cs5033_fall2008/Tidwell_Shadoan.pdf
• http://www.datasciencecentral.com/profiles/blogs/data-science-project-captcha-attack

Hay muchos nombres que estan en minusculas por ejemplo

para tener una mejor consistencia en los datos sugiero pasar todos los nombres a Mayusculas. Esto se puede hacer facilmente usando una funcion en el Item Loader.

Reference: http://doc.scrapy.org/en/1.0/topics/commands.html#genspider

All the spiders that inherits from ManoloBaseSpider use the following piece of code

    def start_requests(self):
        d1 = datetime.datetime.strptime(self.date_start, '%Y-%m-%d').date()
        d2 = datetime.datetime.strptime(self.date_end, '%Y-%m-%d').date()
        # range to fetch
        delta = d2 - d1

        for day in range(delta.days + 1):
            my_date = d1 + timedelta(days=day)
            date_str = my_date.strftime("%d/%m/%Y")

            print("SCRAPING: {}".format(date_str))

It's possible to promote this piece of code to ManoloBaseSpider and use a method called initial_request that will be use to start the first request.

https://github.com/aniversarioperu/manolo_scraper/blob/master/manolo_scraper/manolo_scraper/spiders/spiders.py#L43-L55

This issue is related to #30

Este proyecto necesita un poco mas de amor. La ultima version es 1.1.0.

This is a common pattern in all the spiders.

        date_obj = datetime.datetime.strptime(response.meta['date'], '%d/%m/%Y')
        date_str = datetime.datetime.strftime(date_obj, '%Y-%m-%d')

The idea is to promote this code to a method called get_date_format in ManoloBaseSpider.

@aniversarioperu, do you know if the spider for MTC is working? The spider is not getting the items https://github.com/aniversarioperu/manolo_scraper/blob/master/manolo_scraper/manolo_scraper/spiders/mtc.py

2015-09-06 16:41:51 [scrapy] ERROR: Spider error processing <POST http://app3.minjus.gob.pe:8080/visita_web/consulta_buscarVisitas> (referer: http://app3.minjus.gob.pe:8080/visita_web/consulta_paginarBusquedaVisitas)
KeyError: 'id_number'

so we get rid of this warning when running tests:

/local/lib/python2.7/site-packages/scrapylib/processors/init.py:8: ScrapyDeprecationWarning: Module scrapy.contrib.loader.processor is deprecated, use scrapy.loader.processors instead
from scrapy.contrib.loader.processor import Compose, MapCompose, TakeFirst

Si usamos Items Loaders en los items podemos reducir la cantidad de codigo necesario para la Spider y podemos aprovechar las funciones para limpieza de datos.

Item Loaders provide a convenient mechanism for populating scraped Items. 
Even though Items can be populated using their own dictionary-like API,
Item Loaders provide a much more convenient API for populating them 
from a scraping process, by automating some common tasks like parsing 
the raw extracted data before assigning it.

• Item Loaders: http://doc.scrapy.org/en/latest/topics/loaders.html
• ScrapyLib: https://github.com/scrapinghub/scrapylib
• processors: https://github.com/scrapinghub/scrapylib/blob/master/scrapylib/processors/__init__.py