readme + gitignore mit mehr Inhalt ersetzen bitte ;-D

Viele Grüße
Sancho.

Zur besseren Dokumentation sollten wir die Seiten screenshotten und deren URLs notieren. Die interessanten Bereiche können wir dann annotieren.

Die URLs werden dann in einer .txt einfach aufgezählt, der Reihe nach mit Namen. So verlieren wir nicht die URL-Screenshot-Zuordnung.

Moin!

• neuer Branch namens App
• Momentaner Stand: Force-directed Graph funktioniert. Durch Klick auf Node werden Co-Authors aus dem Back-end abgefragt und dem Graphen hinzugefügt. Lineares
  Color-Mapping für h-Index.
  

Hi,
ich hab nochmal über einen etwas anderen Ansatz zum Crawling nachgedacht.
So, wie wirs bis jetzt geplant haben, kann zwar jedes Dokument relativ eindeutig über die (Unter-)Kategorie klassifiziert werden, das Finden der Autorenprofile finde ich aber so ziemlich umständlich (Ambiguities,Matching nach Titel des Papers, etc.).

Hab die Alternative nochmal ein bisschen erkundet:
-> Suche von Autoren, basierend auf Korpus von häufigsten Vornamen. Beispiel: Mit https://scholar.google.de/citations?view_op=search_authors&hl=de&mauthors=Daniel&after_author=xGkeANb___8J&astart=4060 haben wir schon mehr als 4000 Daniels gefunden. (Keine Ahnung, wie weit das noch geht.)
-> Ich vermute mal, dass die meisten an mindestens einem Paper mitgewirkt haben.
-> Fast jeder Autor kann in der Übersicht durch seine Labels klassifiziert werden. Die häufigsten Labels könnten wir ermitteln und ggf. manuell klassifizieren- könnten also auch entscheiden, wie feingranular unsere Kategorien sein sollen.
-> Ein Autor mit dem Label 'Informatics' wird kaum ein Paper bzgl. Atomphysik veröffentlichen, darum sollts eig. unbedenklich sein, Dokumente auf Basis der Autorenklassifikation zu klassifizieren.
-> Btw:: Suche nach Autoren aus bestimmtem Fachgebiet (= Klick auf Label) auch durch
scholar.google.de/citations?view_op=search_authors&hl=de&mauthors=label:Informatics möglich.
-> durchschnittlicher h-Index/Bildungseinrichtung, siehe org-Parameter: https://scholar.google.de/citations?view_op=view_org&hl=de&org=4833850012421173011
-> Coauthor-Relations: Zum einen möglich durch Seitenleiste auf Profil, zum anderen durch Abgleich der veröffentlichten Papers.Ich fänds auch spannend, wenn wir dann die Korrelation zwischen Anzahl der Coauthors und h-Index o.ä. untersuchen würden

Eure Meinung?

Startpunkte für Crawling

Publikationsverzeichnis

• Kennzahlen --> Englisch --> ...
• Crawlen der Kategorisierungen und Publikationen
• Publikation --> Englisch --> Kategorie per URL parameter vq (manuell 8 Kategorien als Start-URLs)
• Dann Unterkategorien in DIV verfügbar

Suche Generell

• Parameter: z.B. https://scholar.google.ch/scholar?as_q=A&as_epq=B&as_oq=C&as_eq=D&as_occt=any&as_sauthors=E&as_publication=F&as_ylo=1990&as_yhi=1991&btnG=&hl=de&as_sdt=0%2C5

Suche nach Autoren

• Nicht alle haben ein Profil (Disambiguation?)

Autorenprofil

• Paper-Subseite
• Koautoren
• Profilbild speichern (bytea in Postgres) (Visualisierung)

Suche nach Paper

• Paper-Subseite für Autor-Paper Kombinationsseite --> Über Profil des Autors
• BibTex-Ref für Meta-Daten (Publisher usw.)
• Nur über die Artikel-Suche kommt man nicht auf eine Detail-Seite für eine Publikation

Suche nach Artikeln nach Zeit

• Advanced Search nur mit low/high year
• Maximal 1000 Einträge sichtbar (20 Einträge auf 50 Seiten)

Misc

• mysteriöser show_all URL parameter

/citations?view_op=export_citations&hl=de&user=0cUV4OEAAAAJ&s=0cUV4OEAAAAJ:9ZlFYXVOiuMC&cit_fmt=5

s-Parameter setzt sich also aus userID und pseudo-DocID (bekannt aus citationsforview) zsm.
cit_fmt=2 -> citations.enw
cit_fmt=3 -> citations.ris
cit_fmt=4 -> citations.csv
cit_fmt=5 -> citations.bib

Bibtex's an andere Projektgruppen verkaufen? 👍

Python-Version

• Python 2.7, weil crawling framework verfügbar
• Python 3.5

Crawling

• Scrapy (>=1.0)

Front-End

• Interaktiv: Philipp 👍
• Graphs: Plot.ly?

Back-End

• PostgreSQL-Datenbank

• postgres 9.4
• Tabellen ausdenken