Notícies 2021.02.07 00:12:03
Com eliminar un lloc web sense estar a la llista negra Publicat originalment per Varun Choudhary el 
el raspat de llocs web és una tècnica que s’utilitza per extreure grans quantitats de dades de pàgines web i emmagatzemar-los al ordinador. Les dades en llocs web Web només es poden veure amb un navegador web i no es poden guardar per al seu ús personal. L’única forma de fer això és copiar-lo i enganxar-lo manualment, el que es pot fer. una tasca tediosa. Pot portar hores o fins i tot dies completar el treball. No obstant això, tot aquest procés pot ser automatizadoized utilitzant tècniques de web scraping. No cal copiar i enganxar les dades manualment; en el seu lloc, pot utilitzar raspadors web per completar la tasca en un curt període de temps. Si ja sap que és scratching, és probable que sàpiga el útil que pot ser per als especialistes en màrqueting i les organitzacions. Es pot usar per monitorització de marca, augment de dades, seguiment de les ultimes tendències, anàlisi de sentiments, per nomenar alguns. Hi ha moltes eines d’extraccion disponibles que pot utilitzar per a la recopilació de dades basada en web. No obstant això, no totes aquestes eines funcionen de manera eficaç perquè els motors de cerca no volen que els raspadors extreguin dades de les seves pàgines de resultats. Però utilitzant una infraestructura avançada com SERP API, pot recuperar les dades correctament. Altres eines com scrapy, parsehub proporcionen infraestructura per extreure dades imitant completament comportament humà d’una manera eficient. Si bé aquestes eines són bastant beneficioses, no són completament gratuïtes. També pot crea el teu propi web scraper. Però tingues en compte que has de ser molt intel·ligent a l’respecte. Parlem d’alguns consells per evitar ser inclòs en la llista negra a l’extreure dades. Rotació d’IP 
Enviar multiples rConsultar des de la mateixa IP és la millor manera d’arruïnar-a la llista negra de la pàgina web. Els llocs detecten raspadors examinant la direcció IP. Quan es realitzen múltiples sol·licituds des de la mateixa IP, bloqueja la direcció IP. Per evitar això, pot utilitzar servidors proxy o VPN que li permetin d’utilitzar les seves sol·licituds a través d’una sèrie d’adreces IP diferents. La seva direcció IP real estarà emmascarada. Per tant, podràs ratllar la majoria dels llocs sense cap problema. Raspe lentament Amb les activitats de raspat, la tendència és raspar les dades el més rapid possible. Quan un humà visita un lloc web, la velocitat de navegació és bastant lenta en comparació amb els rastrejadors. Per tant, els llocs web poden detectar fàcilment els raspadors mitjançant el seguiment de la velocitat d’accés. Si navega per les pàgines massa ràpid, el lloc ho bloquegés. Ajust el rastrejador a un viprueba òptima, afegiu dates límit una vegada que hagi passat per algunes pàgines i poseu un retard aleatori entre les seves sol·licituds. No colpegi el servidor i estarà llest per rascar. Seguiu diferents patrons de rascat Els éssers humans naveguen pels llocs web de manera diferent. Hi ha diferents temps de visualització, clics aleatoris, etc. quan els usuaris visiten un lloc. Però els robots segueixen el mateix patró de navegació. Els llocs web poden detectar fàcilment els raspadors quan troben un comportament de navegació repetitiu i similar. Per tant, ha d’aplicar diferents patrons de raspat de tant en tant mentre extreu dades dels llocs. Alguns llocs tenen un mecanisme anti-ratllades molt avançat. Penseu afegir alguns clics, moviments de el ratolí, etc. per fer que el raspador sembli un humà. No caiguis en els paranys de el pot de mel Un honeypot és un mecanisme de seguretat informàtica configurat per detectar raspadors. Aquests són els enllaços que no són visibles per als usuaris i es poden trobar en el codi HTML. Per tant, només són visibles per als web scrapers. Quan una aranya visita aquest enllaç, el lloc web bloquegés totes les sol·licituds realitzades per aquest client. Per tant, és essencial verificar els enllaços ocults en un lloc web a l’crear un raspador. Assegureu-vos que el rastrejador només segueixi enllaços que tinguin bona visibilitat. Alguns enllaços d’honeypot estan emmascarats usant el mateix color en el text com a fons. Detectar aquests paranys no és fàcil i es necessitaran algunes habilitats de programació per a evitar-les. Canviar agent d’usuari Una sol·licitud d’agent d’usuari La capçalera consta d’una sola cadena que li permet “identificar el navegador uutilizado, la seva versió i el sistema operatiu. El navegador web envia l’agent d’usuari a el lloc cada vegada que es realitza una sol·licitud .Els mecanismes anti-raspat poden detectar brossa si realitza una gran quantitat de sol·licituds des d’un sol agent d’usuari. Eventualment seràs bloquejat. Per evitar aquesta situació, ha de crear una llista d’agents d’usuari i canviar els agents d’usuari per a cada sol·licitud. Cap lloc vol bloquejar usuaris genuïns. L’ús d’agents d’usuari populars com Googlebot pot resultar útil. Navegador sense cap Alguns llocs web són realment difícils de ratllar. Detecten extensions de navegador, sources web, galetes de el navegador, etc. per comprovar si la sol·licitud és d’un usuari real o no. Si voleu eliminar aquests llocs, haura implementar un navegador sense cap. Eines com Seleni, PhantomJS són algunes opcions que pots explorar. Poden ser una mica complicades de configurar, però poden ser molt útils per al raspat. Tots aquests consells poden ajudar a afinar les seves solucions, i podrà raspar llocs web sense ser bloquejat. codi >