Internet-Software, Browser, FTP, SSH 4.687 Themen, 38.714 Beiträge

Verfolgung starten Optionen

Internetseiten teilautomatisch auswerten?

mainframer / 10 Antworten / Flachansicht Nickles

Hallo,
ich suche als Internet-Laie einen Tipp für folgende Problemstellung:

1) Der öffentlich-rechtliche Betreiber einer großen Internetplattform bietet auch eine (recht primitive) Suchmaske (max. 5 Parameter, die ich täglich in 3 gleich bleibenden Versionern eingesetze) zur Volltext-Recherche in seinen Datenbeständen.

2) Es resultieren daraus täglich dreimal 0 - n Treffer (max. 200), die auf 0 - n Bildschirmseiten (max. 20) aufgelistet werden.

3) Diese Treffer gilt es nach bestimmten, stets gleich bleibenden Kriterien auszuwerten. D.h. mit Trefferadresse/Link lesen und nachgucken, ob darin diese Kriterien stehen. Endresultat dieser täglich 1-2 Stunden erfordernden "manuellen" Arbeit ist eine Tabelle.

Fragen:
a) Gibt es ein Standardprogramm, dem man solche Auswertungen zumindest teilweise übertragen kann?
b) Welche Sprache (JavaScript etc) wäre geeignet für eine Individuallösung dieser Aufgabe, deren Realisierung ich ggf. einem Programmierer übertragen würde.

Ein direkter Zugriff auf die Datenbestände mit intelligenter Programmierung/Auswertung wäre nicht möglich. Es muß die Internetplattform genutzt werden.


bei Antwort benachrichtigen
Hmmm... Dir ist aber schon klar, dass das was Du da machst rechtlich ... xafford
Dir ist aber schon klar, dass das was Du da machst rechtlich durchaus ... mawe2
Rechtliche Bedenken sind unbegründet, zumal die manuellen Auswertungen auf ... mainframer
@xafford Was stört dich bei vollständiger Programmierung , falls es ... xafford
mainframer xafford „ Mich stört daran nichts, es war nur die Antwort auf deine Frage ob es ein...“
Optionen

@xafford
Bei DB2 auf Mainframe habe ich mehr als nur SQL und kann mit entsprechenden Tools Datenstrukturen auch ohne Dokumentation analysieren.

Es werden nur auszugsweise (!) Daten angezeigt und nach einem 3-stufigen Primitiv-Verfahren manuell ausgewertet:
1. Suchbegriffe eingeben
2. Trefferliste abarbeiten und bei gewissen Firmennamen weiter ausschlachten
2. In diese firmenspezifischen Daten einsteigen und dort nach gewissen weiteren Informationen suchen.

In einem ScreenScraping, wie ich es bisher verstanden habe, können nur die tatsächlich angezeigten Daten ausgewertet werden wie z.B. mit dem ebenfalls vorhanden screen-scraper von elkiwi. Ich lasse mich aber gerne berichtigen.

Natürlich hast du recht, wenn du mit mit möglichen Bedenken auf gewisse Richter abzielen solltest. Schließlich erleben wir ja tagtäglich Entscheidungen von Spinnern wie z.B. das Verbot, Hartz-IV-Bezieher am Lotto teilnehmen zu lassen. Schließlich war ich auch einmal vier Jahre lang Schöffe (=Galionsfigur, die den Mund nicht aufmachen darf) und habe dabei so manchen Vogel in Richterrobe kennen gelernt. Die Auswertungen für eine private Interessengemeinschaft, in der ich selber Mitglied bin, werden jedoch nicht kommerziell genutzt. Sie wurden in der Vergangenheit auch fallweise den Behörden zur Verfügung gestellt und verursachten schlimmstenfalls Verärgerung, dass damit auch eine behördliche (!) Unterstützung für kriminelle Organisationen durch Untätigkeit offen gelegt werden konnte.

bei Antwort benachrichtigen
Ich wollte eigentlich nicht in eine Grundsatzdiskussion einsteigen, sondern ... xafford
- Das Parsen an sich ist auch noch relativ trivial mittels eines DOM-Parsers ... Borlander
Da empfiehlt sich dann der vorgeschaltete Einsatz von libtidy um das ... xafford
Danke! mainframer
Rechtlich bedenklich ist es, da auch Datenbanken und Datenzusammenstellungen ... xafford