sofacoach.de



Zurück   sofacoach.de > Off-Topic > Hilfe!

[Software] Daten automatisiert scrapen Dieses Thema abonnieren
Mehr
#1
Alt 14.02.2017, 13:50   (Augsburg)
nevermind
No Way.
 
Benutzerbild von nevermind
Daten automatisiert scrapen

IT-Experten vor.

Spiele ja begeistert Daily Fantasy Soccer und habe mir hier ein Excel-Modell mit Statistiken und Wettquoten aufgebaut. Bis heute regle ich das mit copy-paste von Statistiken aus Webseiten. In Zukunft möchte ich aber die Daten effizienter und automatisiert beziehen.

Gezielt geht es in Zukunft hierum:

https://www.premierleague.com/stats/...rs/goals?se=54

Hier brauche ich Daten verschiedene Kategorien in Excel: Goals, Shots, Assists, Tackles und mehr. Jede dieser Kategorien listet pro Seite nur 20 Spieler, das heißt, Copypaste wäre ein verrücktes Geklicke. Ich brauche nämlich alle Spieler. Jetzt habe ich für etwas ähnliches mal den integrierten Scraper von Chrome genutzt. Das scheint hier nicht zu gehen. Ich weiß, dass es Add-Ons gibt für Scraping. Aber da hört mein Wissen auf. Kenntnisse in xml habe ich leider nicht.

Nochmal zusammengefasst
Insgesamt hätte ich gerne pro Kategorie (z.B. Goals) ein Excelsheet mit zwei Spalten: Player und Stat (in diesem Fall natürlich Goals). Der Scraper soll selbst die Seiten durchklicken und alles zusammenfassen.

Wie stelle ich das am besten an? Kennt sich einer aus und könnte mir das kurz erklären?

Edit: Oder kann ich als Workaround die Seite irgendwie austricksen um die 20er-Begrenzung aufzuheben?
nevermind ist offline Mit Zitat antworten
Ein User sagt Danke:
Sonny (14.02.2017)
#2
Alt 14.02.2017, 14:11   (Dorsten)
kaestchen
holistic claims manager
 
Benutzerbild von kaestchen

Kannst du python?
kaestchen ist offline Mit Zitat antworten
#3
Alt 14.02.2017, 14:19   (Augsburg)
nevermind
No Way.
 
Benutzerbild von nevermind

Nope. Ich kann am Computer so gut wie gar nix.
nevermind ist offline Mit Zitat antworten
Ein User sagt Danke:
kaestchen (14.02.2017)
#4
Alt 14.02.2017, 14:42   (Dorsten)
kaestchen
holistic claims manager
 
Benutzerbild von kaestchen

Edit: Oder kann ich als Workaround die Seite irgendwie austricksen um die 20er-Begrenzung aufzuheben?
da ich jetzt auf den ersten blck keine entsprechende einstellung finde, wird das nicht gehen.

was dann das automatisierte scrapen komplizierter macht, ist die tatsache, dass die seitenbestandteile all aus javascript-elementen besteht. somit kann man nicht einfach den inhalt wie aus einem html-element per text auslesen.

... wettquoten? verdienst du geld damit?
kaestchen ist offline Mit Zitat antworten
#5
Alt 14.02.2017, 14:49   (Augsburg)
nevermind
No Way.
 
Benutzerbild von nevermind

da ich jetzt auf den ersten blck keine entsprechende einstellung finde, wird das nicht gehen.

was dann das automatisierte scrapen komplizierter macht, ist die tatsache, dass die seitenbestandteile all aus javascript-elementen besteht. somit kann man nicht einfach den inhalt wie aus einem html-element per text auslesen.

... wettquoten? verdienst du geld damit?
Im Optimalfall ja.

DraftKings (größter Anbieter von Daily Fantasy) kommt nach Deutschland und ich will mein Glück probieren.
nevermind ist offline Mit Zitat antworten
#6
Alt 14.02.2017, 15:27   (Augsburg)
nevermind
No Way.
 
Benutzerbild von nevermind

Hab eine Lösung. Hat sich damit erledigt.
nevermind ist offline Mit Zitat antworten
#7
Alt 14.02.2017, 15:31
das f
nicht das g
 
Benutzerbild von das f

Hab eine Lösung. Hat sich damit erledigt.

Wenn ich bei der Lösungssuche irgendwelcher IT-Probleme in den Foren der Welt herumstöbere, kriege ich bei solchen Kommentaren Bluthochdruck.

In diesem Fall ist es für mich persönlich eigentlich komplett wurscht, aber wie hat es denn nun geklappt? Der Vollständigkeit halber meine ich.
das f ist gerade online Mit Zitat antworten
7 User sagen Danke:
agent_schmudde (14.02.2017), flip (14.02.2017), Macl (14.02.2017), nevermind (14.02.2017), ridler (14.02.2017), Tschecker (16.02.2017), Weezy (20.02.2017)
#8
Alt 14.02.2017, 15:51   (Augsburg)
nevermind
No Way.
 
Benutzerbild von nevermind

Da hast du Recht.

Habe es über das Tool "Data Miner" gelöst. Hier kann man "Auto-Pagination" einstellen, man braucht hier in den Auto-Pagination-Settings lediglich den Quellcode für den "Nächste Seite" Pfeil.

Dann läuft das wie geschmiert.
nevermind ist offline Mit Zitat antworten
#9
Alt 14.02.2017, 17:18
das f
nicht das g
 
Benutzerbild von das f

Ok, ich verstehe nichts. Aber danke.
das f ist gerade online Mit Zitat antworten
Ein User sagt Danke:
Macl (14.02.2017)
#10
Alt 14.02.2017, 17:21   (Augsburg)
nevermind
No Way.
 
Benutzerbild von nevermind

Wenn es jemand genauer wissen will, bin per PN erreichbar.
nevermind ist offline Mit Zitat antworten
Themen-Optionen



17:44
Powered by vBulletin® Version 3.8.4 (Deutsch)
Copyright ©2000 - 2017, Jelsoft Enterprises Ltd.

no new posts