LiveChat 
Tendencia: WEB Scraping
Google es un buen ejemplo de web scraping. El buscador utiliza esta tecnología para mostrar información meteorológica o comparaciones de precios de hoteles y vuelos. Muchos de los portales actuales de comparación de precios también utilizan el scraping para representar información de diferentes sitios web y proveedores.
¿Qué es el web scraping?
Los motores de búsqueda, como Google, utilizan desde hace tiempo los denominados rastreadores web o crawlers, que exploran Internet en busca de términos definidos por el usuario. Los rastreadores son tipos especiales de bots, que visitan una página web tras otra para generar asociaciones con términos de búsqueda y categorizarlos. El primer rastreador web se creó ya en 1993, cuando se presentó el primer motor de búsqueda: Jumpstation.
Entre estas técnicas de rastreo se incluye el web scraping o webharvesting. Te explicamos cómo funciona, para qué se utiliza y cómo se puede bloquear en caso necesario.
Con el web scraping se leen textos de páginas web para obtener información y almacenarla, de forma comparable al proceso automático de copiado y pegado. En el caso de la búsqueda de imágenes, el proceso se denomina acertadamente image scraping.
Las herramientas de web scraping son software, es decir, bots programados para examinar bases de datos y extraer información. Se utiliza una gran variedad de tipos de bot, muchos de ellos totalmente personalizables para:
- Reconocer estructuras de sitios HTML únicos.
- Extraer y transformar contenidos.
- Almacenar datos.
- Extraer datos de las API.
Dado que todos los bots utilizan el mismo sistema para acceder a los datos del sitio, a veces puede resultar difícil distinguir entre bots legítimos y bots maliciosos.
Diferencias clave entre bots legítimos y maliciosos
Existen algunas diferencias clave que te ayudarán a distinguir entre los dos:
- Los robots legítimos se identifican con la organización para la que lo hacen. Por ejemplo, Googlebot se identifica en su encabezado HTTP como perteneciente a Google. Los robots maliciosos, a la inversa, se hacen pasar por tráfico legítimo al crear un usuario HTTP falso.
- Los robots legítimos respetan el archivo robot.txt de un sitio, que enumera las páginas a las que puede acceder un robot y las que no. Los maliciosos, por otro lado, rastrean el sitio web independientemente de lo que el operador del sitio haya permitido.
Los operadores legítimos de bots invierten en servidores para procesar la gran cantidad de datos que se extraen. Un atacante, que carece de tal presupuesto, a menudo recurre al uso de una red de bots. Es decir, computadoras geográficamente dispersos, infectadas con el mismo malware y controladas desde una ubicación central.
Los propietarios de ordenadores de bots individuales desconocen su participación. El poder combinado de los sistemas infectados permite el raspado a gran escala de muchos sitios web diferentes por parte del autor.
El web scraping se considera malicioso cuando los datos se extraen sin el permiso de los propietarios de sitios web. Los dos casos de uso más comunes son el raspado de precios y el robo de contenido.
1.- Raspado de precios
En el raspado de precios es una de las variantes para saber qué es el web scraping. Se trata de un atacante que generalmente utiliza una red de bots desde la cual lanzar bots de web scraping para inspeccionar las bases de datos de la competencia. El objetivo es acceder a la información de precios, ganar a los rivales e impulsar las ventas. Para los atacantes, un raspado de precios exitoso puede hacer que sus ofertas sean destacadas en sitios web de comparación.
Los ataques ocurren con frecuencia en industrias donde el precio de los productos son fácilmente comparables. Porque el precio juega un papel importante en las decisiones de compra. Las víctimas del raspado de precios pueden ser agencias de viajes, vendedores de electrónica en línea, etc.
Por ejemplo, los comerciantes electrónicos de teléfonos inteligentes, que venden productos similares a precios relativamente importantes, son objetivos frecuentes. Para seguir siendo competitivos, tienen que vender sus productos al mejor precio posible.
Ya que los clientes siempre suelen optar por la oferta más económica. Para obtener una ventaja, un proveedor puede usar un bot para raspar continuamente los sitios web de sus competidores y actualizar casi instantáneamente sus propios precios en consecuencia.
2.- Raspado de contenido
El raspado de contenido es otra de las formas que permite comprender qué es el web scraping. Es decir, el robo de contenido a gran escala de un sitio determinado. Los objetivos típicos incluyen catálogos de productos en línea y sitios web que se basan en contenido digital para impulsar el negocio. Para estas empresas, un ataque de raspado de contenido puede ser devastador.
Por ejemplo, los directorios de negocios en línea invierten cantidades significativas de tiempo, dinero y energía en la construcción de su base de datos. El raspado puede hacer que todo se vaya al traste. Se usa en campañas de envío de correo no deseado. O se revende a los competidores. Es probable que cualquiera de estos hechos afecte a los resultados de una empresa y a sus operaciones diarias.
¿Cómo se puede bloquear el web scraping?
Para bloquear el scraping, los operadores de sitios web pueden adoptar diferentes medidas. Por ejemplo, el archivo robots.txt se utiliza para bloquear bots de buscadores. Por lo tanto, el scraping automático también se evita por medio de bots de software. Asimismo, es posible bloquear direcciones IP de bots. Los datos de contacto e información personal se pueden ocultar de manera selectiva: los datos sensibles, tales como los números de teléfono, se pueden proporcionar en forma de imagen o como CSS, lo que dificulta el scraping de los datos. Además, existen numerosos proveedores de servicios antibotde pago que pueden establecer un firewall. Con Google Search Console también es posible configurar notificaciones para informar a los operadores de sitios web en caso de que sus datos se utilicen para scraping.
