Scraping

Si bien existen multitud de datos estructurados en forma de ficheros, hay otros muchos que están embebidos en páginas web y que están preparados para ser visualizados mediante un navegador.

Sin embargo, las técnicas de «scraping» nos permiten extraer este tipo de información web para convertirla en datos estructurados con los que poder trabajar de forma más cómoda.

Los paquetes que veremos en este capítulo bien podrían estar incluidos en otras temáticas, ya que no sólo se utilizan para «scraping».

• requests
  • Realizar una petición
  • Tipos de peticiones
  • Usando parámetros
    • Query string
    • Parámetros POST
    • Envío de cabeceras
  • Analizando la respuesta
    • Contenido JSON
    • Cabeceras de respuesta
    • Cookies
  • Descargar un fichero
    • Ficheros en texto plano
    • Ficheros binarios
    • Nombre de fichero
• beautifulsoup
  • Haciendo la sopa
  • Localizar elementos
    • Fórmulas de localización
    • Localizar único elemento
    • Localizar desde elemento
    • Otras funciones de búsqueda
    • Atajo para búsquedas
  • Acceder al contenido
    • Nombre de etiqueta
    • Acceso a atributos
    • Contenido textual
      • Mostrando elementos
  • Navegar por el DOM
    • Moverse hacia abajo
    • Moverse hacia arriba
    • Otros movimientos
• selenium
  • Pasos previos
    • Documentación
    • Prerequisitos
      • Navegador web
      • Driver
  • Configuración del driver
    • Inicialización del driver
    • Capacidades del navegador
      • Opciones del navegador
      • Perfil del navegador
      • Fichero de log
  • Navegando
  • Localizando elementos
  • Interacciones
    • Clic
      • Inspeccionando el DOM
    • Enviar texto
    • Borrar contenido
    • Manejo de selects
  • Acceso a atributos
    • Nombre de etiqueta
    • Tamaño y posición
    • Estado
    • Propiedad CSS
    • Texto del elemento
    • Elemento superior
    • Propiedad de elemento
  • Esperas
  • Ejecutar javascript