sofacoach.de

sofacoach.de (http://www.sofacoach.de/forum/index.php)
-   Hilfe! (http://www.sofacoach.de/forum/forumdisplay.php?f=15)
-   -   [Software] Daten automatisiert scrapen (http://www.sofacoach.de/forum/showthread.php?t=5173)

nevermind 14.02.2017 12:50

Daten automatisiert scrapen
 
IT-Experten vor. :usad:

Spiele ja begeistert Daily Fantasy Soccer und habe mir hier ein Excel-Modell mit Statistiken und Wettquoten aufgebaut. Bis heute regle ich das mit copy-paste von Statistiken aus Webseiten. In Zukunft möchte ich aber die Daten effizienter und automatisiert beziehen.

Gezielt geht es in Zukunft hierum:

https://www.premierleague.com/stats/...rs/goals?se=54

Hier brauche ich Daten verschiedene Kategorien in Excel: Goals, Shots, Assists, Tackles und mehr. Jede dieser Kategorien listet pro Seite nur 20 Spieler, das heißt, Copypaste wäre ein verrücktes Geklicke. Ich brauche nämlich alle Spieler. Jetzt habe ich für etwas ähnliches mal den integrierten Scraper von Chrome genutzt. Das scheint hier nicht zu gehen. Ich weiß, dass es Add-Ons gibt für Scraping. Aber da hört mein Wissen auf. Kenntnisse in xml habe ich leider nicht.

Nochmal zusammengefasst
Insgesamt hätte ich gerne pro Kategorie (z.B. Goals) ein Excelsheet mit zwei Spalten: Player und Stat (in diesem Fall natürlich Goals). Der Scraper soll selbst die Seiten durchklicken und alles zusammenfassen.

Wie stelle ich das am besten an? Kennt sich einer aus und könnte mir das kurz erklären? :bitte:

Edit: Oder kann ich als Workaround die Seite irgendwie austricksen um die 20er-Begrenzung aufzuheben?

kaestchen 14.02.2017 13:11

Kannst du python?

nevermind 14.02.2017 13:19

Nope. Ich kann am Computer so gut wie gar nix.

kaestchen 14.02.2017 13:42

Zitat:

Zitat von nevermind (Beitrag 954795)
Edit: Oder kann ich als Workaround die Seite irgendwie austricksen um die 20er-Begrenzung aufzuheben?

da ich jetzt auf den ersten blck keine entsprechende einstellung finde, wird das nicht gehen.

was dann das automatisierte scrapen komplizierter macht, ist die tatsache, dass die seitenbestandteile all aus javascript-elementen besteht. somit kann man nicht einfach den inhalt wie aus einem html-element per text auslesen.

... wettquoten? verdienst du geld damit?

nevermind 14.02.2017 13:49

Zitat:

Zitat von kaestchen (Beitrag 954810)
da ich jetzt auf den ersten blck keine entsprechende einstellung finde, wird das nicht gehen.

was dann das automatisierte scrapen komplizierter macht, ist die tatsache, dass die seitenbestandteile all aus javascript-elementen besteht. somit kann man nicht einfach den inhalt wie aus einem html-element per text auslesen.

... wettquoten? verdienst du geld damit?

Im Optimalfall ja. :ronaldo:

DraftKings (größter Anbieter von Daily Fantasy) kommt nach Deutschland und ich will mein Glück probieren.

nevermind 14.02.2017 14:27

Hab eine Lösung. Hat sich damit erledigt.

das f 14.02.2017 14:31

Zitat:

Zitat von nevermind (Beitrag 954825)
Hab eine Lösung. Hat sich damit erledigt.


Wenn ich bei der Lösungssuche irgendwelcher IT-Probleme in den Foren der Welt herumstöbere, kriege ich bei solchen Kommentaren Bluthochdruck.

In diesem Fall ist es für mich persönlich eigentlich komplett wurscht, aber wie hat es denn nun geklappt? Der Vollständigkeit halber meine ich. :)

nevermind 14.02.2017 14:51

Da hast du Recht.

Habe es über das Tool "Data Miner" gelöst. Hier kann man "Auto-Pagination" einstellen, man braucht hier in den Auto-Pagination-Settings lediglich den Quellcode für den "Nächste Seite" Pfeil.

Dann läuft das wie geschmiert.

das f 14.02.2017 16:18

Ok, ich verstehe nichts. Aber danke. :ronaldo:

nevermind 14.02.2017 16:21

Wenn es jemand genauer wissen will, bin per PN erreichbar. :ronaldo:


13:25

Powered by vBulletin® Version 3.8.4 (Deutsch)
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.