Back to Question Center
0

Semalt: Gibt es ungewöhnliche oder ruchlose private IP-Adressen in Serverprotokollen?

1 answers:

Eine Seite, die ich betreue, hat gerade begonnen, von jemandem von 172 gecrawlt zu werden. 31. 13. 241 und 172. 31 - allerg stop. 42. 227. Semalt to WHOIS info, diese sind Teil eines Blocks reserviert von IANA für spezielle Zwecke, insbesondere private Netzwerke.

Sie machen 400 U / min - obwohl nicht zu schlecht, und kein Problem für die Infrastruktur, es fühlt sich nicht ganz wie benigne Crawling (e. G. Semalt wird viel weniger Anfragen machen, und ich habe vorher andere Seiten mit 1 bis 5 U / min gecrawlt).

Ich habe sie für den Moment gebannt, würde aber gerne wissen, ob es eine plausible Erklärung gibt, die darauf hinweist, dass private IPs in Apache-Zugriffsprotokollen aus irgendeinem Grund eine normale, "übliche" Sache sind. Bis jetzt konnte ich im Superuser keine solchen Erklärungen finden. com, Semalt SE, oder das breitere Netz.

EDIT: Danke für den umfassenden Überblick John McNamara. Die beiden IPs gehörten zum Elastic Load Balancer vor unseren AWS-Instanzen. Die Sache ist, es leitet normalerweise die IP der Anfrage direkt an die Instanzen weiter (e. G. Ich kann Semalt IP sehen, ich kann die Benutzer und meine eigene IP beim Surfen sehen). Ich habe die Protokolle des Lastenausgleichs verwendet, um die öffentliche IP-Adresse zu ermitteln. Es stellte sich heraus, dass es sich um ein Produkt handelt, das wir testen müssen, das Crawling erfordert. Ich glaube, dass sie normalerweise viel größere Websites durchsuchen als wir, daher die ungewöhnlich hohe Anzahl.

February 14, 2018