Internet-Software, Browser, FTP, SSH 4.687 Themen, 38.714 Beiträge

Verfolgung starten Optionen

Internetseiten teilautomatisch auswerten?

mainframer / 10 Antworten / Flachansicht Nickles

Hallo,
ich suche als Internet-Laie einen Tipp für folgende Problemstellung:

1) Der öffentlich-rechtliche Betreiber einer großen Internetplattform bietet auch eine (recht primitive) Suchmaske (max. 5 Parameter, die ich täglich in 3 gleich bleibenden Versionern eingesetze) zur Volltext-Recherche in seinen Datenbeständen.

2) Es resultieren daraus täglich dreimal 0 - n Treffer (max. 200), die auf 0 - n Bildschirmseiten (max. 20) aufgelistet werden.

3) Diese Treffer gilt es nach bestimmten, stets gleich bleibenden Kriterien auszuwerten. D.h. mit Trefferadresse/Link lesen und nachgucken, ob darin diese Kriterien stehen. Endresultat dieser täglich 1-2 Stunden erfordernden "manuellen" Arbeit ist eine Tabelle.

Fragen:
a) Gibt es ein Standardprogramm, dem man solche Auswertungen zumindest teilweise übertragen kann?
b) Welche Sprache (JavaScript etc) wäre geeignet für eine Individuallösung dieser Aufgabe, deren Realisierung ich ggf. einem Programmierer übertragen würde.

Ein direkter Zugriff auf die Datenbestände mit intelligenter Programmierung/Auswertung wäre nicht möglich. Es muß die Internetplattform genutzt werden.


bei Antwort benachrichtigen
Hmmm... Dir ist aber schon klar, dass das was Du da machst rechtlich ... xafford
Dir ist aber schon klar, dass das was Du da machst rechtlich durchaus ... mawe2
Rechtliche Bedenken sind unbegründet, zumal die manuellen Auswertungen auf ... mainframer
xafford mainframer „Rechtliche Bedenken sind unbegründet, zumal die manuellen Auswertungen auf...“
Optionen
@xafford
Was stört dich bei "vollständiger Programmierung", falls es tatsächlich kein Auswertesystem auf PC/Internetbasis geben sollte, wie es seit Jahrzehnten (!) im Großrechner-Umfeld bekannt ist?

Mich stört daran nichts, es war nur die Antwort auf deine Frage ob es ein Standardprogramm gibt. Ich ging davon aus, dass ein Standardprogramm wenig Sinn macht bei so komplexen Anforderungen da seine Konfiguration aus diesem Grund einer Neuprogrammierung eines eigenen Programmes für diesen Zweck gleich käme.

Null Probleme gäbe es z.B. mit undokumentierten Datenstrukturen in einer DB2-Datenbank.

Nun, bei Datenbanken hast Du SQL als feste Abfragesprache und auch die Struktur einer Datenbank ist immer gleich Organisiert (Datenbank, Tabelle, Datensätze, Felder, Datentypen). Bei der Ausgabe einer Internetseite kann ein gesuchtes Ergebnis bei dynamischen Inhalten immer geringfügig unterschiedlich sein.

Screen Scraping ist im vorliegenden Problemfall leider auch nicht möglich, da etliche für die Statistik entscheidenende Daten gar nicht angezeigt werden.

Hier habe ich gerade ein Verständnisproblem: Wenn relevante Daten nicht angezeigt werden, woher bekommst Du diese aktuell?
Pauschalurteile sind immer falsch!!!
bei Antwort benachrichtigen
@xafford Bei DB2 auf Mainframe habe ich mehr als nur SQL und kann mit ... mainframer
Ich wollte eigentlich nicht in eine Grundsatzdiskussion einsteigen, sondern ... xafford
- Das Parsen an sich ist auch noch relativ trivial mittels eines DOM-Parsers ... Borlander
Da empfiehlt sich dann der vorgeschaltete Einsatz von libtidy um das ... xafford
Danke! mainframer
Rechtlich bedenklich ist es, da auch Datenbanken und Datenzusammenstellungen ... xafford