A mecânica dos scrapers de inventário: notificações de stock em 10 minutos

Durante a onda de calor europeia de 2023, uma unidade Midea PortaSplit num grande retalhista de eletrónica alemão passou de esgotada a disponível e de novo a esgotada em menos de 22 minutos. Um comprador que monitorizasse manualmente o website do retalhista de poucas em poucas horas nunca a teria visto. Um serviço de notificação de stock a fazer varrimentos horários teria enviado o alerta depois de a unidade já ter sido vendida. Só um sistema a sondar num ciclo de 10 minutos ou mais rápido conseguiria detetar e notificar de forma fiável antes de a procura esgotar a reposição — e é precisamente por isso que a frequência de sondagem de um localizador de stock online é a especificação mais importante a avaliar antes de lhe confiar uma compra de elevada procura.

Como funciona um sistema de scraping de inventário em tempo real?

Um scraper de inventário em tempo real envia pedidos HTTP automatizados às páginas de produto dos retalhistas segundo um calendário definido, obtém a resposta HTML, analisa o conteúdo da página para extrair o campo de estado do stock, compara-o com o estado anteriormente armazenado e — se o estado tiver mudado de indisponível para disponível — desencadeia de imediato um alerta a todos os utilizadores subscritos. O ciclo completo, do pedido ao envio do alerta, demora 2–8 segundos por retalhista num sistema bem concebido, o que significa que o verdadeiro estrangulamento é o intervalo de sondagem entre ciclos, e não o tempo de processamento dentro de cada ciclo.

O campo de estado do stock numa página de produto de um retalhista é tipicamente um elemento de dados estruturados — uma propriedade de disponibilidade JSON-LD, uma anotação InStock do schema.org ou uma classe CSS num botão de adicionar ao carrinho que alterna entre os estados ativo e desativado. Os scrapers fiáveis visam o mais autorizado destes sinais, em vez de inferir a disponibilidade a partir do texto do botão ou da apresentação do preço, porque as páginas dos retalhistas têm frequentemente incoerências de interface em que o texto indica «disponível em breve» enquanto os dados estruturados já mostram InStock — ou o inverso.

Porque é que a frequência de sondagem determina se consegue mesmo obter a unidade?

A frequência de sondagem — o intervalo entre verificações sucessivas da mesma página de produto — determina o atraso máximo entre um evento de reposição e a notificação chegar ao subscritor. Um sistema que sonda de hora a hora pode notificar até 59 minutos depois de uma unidade surgir; num cenário de elevada procura em que 200 utilizadores aguardam uma reposição, 59 minutos são tempo suficiente para toda a quantidade disponível ser vendida antes de um único destinatário da notificação agir.

A relação entre a frequência de sondagem e a taxa de sucesso de compra não é linear — segue um comportamento de limiar. Com sondagem de 60 minutos, a maioria dos eventos de reposição de elevada procura é totalmente falhada no primeiro dia. Com sondagem de 15 minutos, uma fração significativa das reposições é detetável enquanto ainda há stock. Com sondagem de 10 minutos ou mais rápida, a notificação chega aos subscritores enquanto as unidades estão tipicamente ainda disponíveis, porque a maioria das reposições dos retalhistas europeus envolve lotes de 10–50 unidades, e não uma de cada vez, e a janela de esgotamento destes lotes, às taxas de tráfego típicas após a notificação, é de 15–35 minutos.

Que obstáculos técnicos impedem os scrapers simples de funcionar de forma fiável?

Os retalhistas implementam ativamente contramedidas anti-bot para impedir o scraping automatizado das suas páginas de produto, porque o tráfego automatizado de alta frequência impõe carga aos servidores e permite a recolha de informação competitiva. As defesas comuns incluem a limitação de taxa (bloqueio de endereços IP que fazem mais do que um número-limiar de pedidos por minuto), desafios CAPTCHA inseridos após um determinado número de pedidos de página a partir do mesmo IP e requisitos de renderização de JavaScript, que fazem com que o estado do stock só seja preenchido depois de o código do lado do cliente ser executado — tornando-o invisível a um simples pedido HTTP que apenas obtém o HTML em bruto.

Os scrapers ingénuos que enviam pedidos a partir de um único endereço IP com uma cadeia de user-agent genérica são bloqueados em poucas horas na maioria dos grandes retalhistas europeus. Um motor de varrimento de nível de produção distribui os pedidos por vários endereços IP, alterna os identificadores de user-agent e utiliza renderização em navegador headless (um processo que executa todo o ambiente JavaScript da página, tal como um navegador real faria, antes de extrair o estado do stock) para obter o estado totalmente renderizado da página. A infraestrutura da Find Portable AC utiliza encaminhamento de pedidos geograficamente adequado — pedindo as páginas dos retalhistas alemães a partir de gamas de IP alemãs e as páginas francesas a partir de gamas francesas — o que reduz os sinais de discrepância que ativam os sistemas anti-bot e mantém um acesso fiável aos dados de stock ao longo de todo o ciclo de sondagem.

Caso-limite: retalhistas que usam IDs de produto dinâmicos que quebram os URLs persistentes do scraper

Um modo de falha específico de certas plataformas de retalho europeias é o uso de URLs de produto associados à sessão ou rodados com frequência, que invalidam os endereços de página em cache ao fim de algumas horas. Um scraper que armazene um URL de produto estático e o sonde indefinidamente começará a receber respostas 404 ou redirecionamentos para a página inicial depois de o ID do produto rodar, interpretando erradamente isto como o produto ter sido removido, e não como temporariamente indisponível. Os motores de varrimento robustos mantêm uma camada de identidade de produto que redescobre periodicamente o URL canónico atual de cada produto monitorizado, pesquisando na própria pesquisa do site do retalhista ou navegando a partir da página de categoria, garantindo que a rotação de URL não interrompe silenciosamente a monitorização de um produto que está efetivamente em gestão de stock ativa.

Em que difere o motor de varrimento da Find Portable AC dos verificadores de stock genéricos?

A Find Portable AC foi construída especificamente para a categoria de ar condicionado split portátil nos mercados europeus, e não como um verificador de stock de uso geral. Este foco produz três vantagens específicas face aos serviços genéricos de notificação de esgotamento. Primeiro, a lista de retalhistas monitorizados cobre distribuidores AVAC especializados e retalhistas de eletrónica específicos de cada país (MediaMarkt, Fnac, Coolblue, Currys, Conrad, Boulanger e outros) que os serviços genéricos raramente incluem — muitas reposições da classe PortaSplit ocorrem primeiro nos distribuidores especializados, dias antes de chegarem às grandes plataformas generalistas. Segundo, a análise do estado do stock está afinada para as estruturas de página específicas das listagens de produtos de ar condicionado destes retalhistas, em vez de depender de uma análise genérica do schema.org que interpreta mal os sinais de disponibilidade de algumas plataformas. Terceiro, a entrega de alertas é contextualizada por categoria: os subscritores indicam o seu país, o nível de capacidade de que necessitam e se pretendem splits da classe PortaSplit ou monoblocos — garantindo que as notificações são relevantes para a necessidade efetiva do comprador, em vez de serem desencadeadas por cada variante de capacidade de um modelo incompatível.

Que informação contém uma notificação de reposição de um motor de varrimento de qualidade?

Uma notificação de reposição vale apenas o que valer a ação que possibilita. Um alerta que diz «há um ar condicionado portátil disponível algures na Europa» é inútil; um alerta que inclui o nome exato do retalhista, o URL direto do produto, a capacidade em BTU/h ou kW, o preço no momento da deteção e uma quantidade de stock estimada (se for possível extraí-la da página do retalhista) permite ao destinatário tomar uma decisão de compra e concluir o checkout dentro da janela de 15–35 minutos antes de o lote se esgotar.

Poderá algum comprador superar um motor de varrimento com monitorização manual?

Em teoria, um comprador que verifique todas as páginas relevantes dos retalhistas a cada 10 minutos, 24 horas por dia, em todos os mercados europeus em simultâneo, poderia igualar um motor de varrimento. Na prática, isto não é exequível por nenhum indivíduo — a rede de abastecimento da classe PortaSplit abrange 30–50 retalhistas europeus distintos em oito ou mais países, cada um com múltiplas variantes de produto. Um único comprador que monitorizasse manualmente apenas cinco retalhistas num ciclo de 10 minutos teria de realizar 720 verificações manuais de página por dia sem falhar nenhuma. O valor prático de um motor de varrimento dedicado é que proporciona a vigilância de uma operação de monitorização multirretalhista de 24 horas a um subscritor que só tem de ler um email quando a unidade certa surge.

Passei duas semanas a verificar três sites de retalhistas todas as manhãs e todas as noites e continuava a falhar as reposições. Um amigo falou-me de um serviço de alertas de stock e recebi uma notificação às 23h de uma terça-feira. A unidade estava no meu cesto em três minutos. É a única forma de conseguir estas coisas durante uma onda de calor.

O motor de varrimento de ~10 minutos monitoriza continuamente os distribuidores AVAC especializados e os grandes retalhistas de eletrónica em toda a Europa, entregando alertas de reposição aos subscritores antes de as quantidades do lote se esgotarem.