Die Evaluierung von Projektanträgen im 7. FRP

Evaluierung

Die Europäische Kommission führt die Evaluierung aller Projektanträge im so genannten "peer review" Verfahren durch, d. h. sie lädt Personen aus dem wissenschaftlichen Umfeld, die sich über den Eintrag in einer Datenbank als Evaluator/innen zur Verfügung gestellt haben, zur Begutachtung der Projekte ein. Die Evaluierung kann entweder komplett in den Räumlichkeiten der Kommission in Brüssel oder - und dies wird von der Kommission zunehmend praktiziert - in einem ersten Schritt per "remote evaluation" am Arbeitsplatz der Gutachter/innen bzw. daheim erfolgen. Die für eine Evaluierungsrunde ausgewählten Personen erhalten eine Reihe von Anträgen (meist sechs bis acht), die sie lesen und über einen Evaluierungsbogen bewerten. In einem zweiten Schritt erfolgt dann ein Treffen aller Evaluatoren in Brüssel in dem die verschiedenen Bewertungen verglichen, diskutiert und analysiert werden und eine Auswahl der zu fördernden Projekte getroffen wird. Anträge werden immer von mehreren Personen - mindestens drei, bei großen Projekten fünf und mehr - unabhängig von einander gelesen und bewertet. Die anschließende Diskussion wird von der Europäischen Kommission begleitet und moderiert; sie hat hier jedoch keine Entscheidungsbefugnis. Einmal selbst in die Rolle des Evaluators zu schlüpfen, wird von vielen Antragstellenden, die diesen Weg gegangen sind, als enorm lehrreich und perfekte Hilfestellung für weitere Antragstellungen empfunden. Interessenten können sich selbst in die entsprechende Datenbank der Europäischen Kommission eintragen (https://cordis.europa.eu/emmfp7). Eine Gutachtertätigkeit im Rahmen von Ausschreibungen, an denen Sie selbst beteiligt sind, ist übrigens nicht möglich.
   

 

Evaluierung


Evaluierungsverfahren


Die Begutachtung der eingereichten Projektvorschläge erfolgt nach dem sogenannten "Peer-Review" Verfahren, das heißt durch unabhängige Experten. Anträge werden von mehreren externen Gutachtern (in der Regel Wissenschaftler oder Experten aus der Industrie) nach einem vorgegebenen Muster, das dem jeweiligen Maßnahmentyp entspricht, bewertet. Die unabhängigen Gutachter müssen sich dann in einem Konsensverfahren über die Gesamtbewertung des Antrages einigen. Ihre Gesamtbewertung wird in einem Bewertungsbericht zusammengefasst, der den Antragstellern und den zuständigen Programmausschüssen zur Verfügung gestellt wird. In einer gemeinsamen Sitzung (Panel Meeting) werden die Anträge dann von den Gutachtern in eine Reihenfolge gebracht, die ihrer Bewertung entspricht. Das Resultat dieser Beratungen wird den Mitarbeitern der Kommission  für das weitere Verfahren übergeben. Die daraus resultierende Förder ("ranking ")- Liste gliedert sich in eine Gruppe von Anträgen, die zur Förderung vorgeschlagen werden, eine Reserveliste und Vorschläge, die entweder keine ausreichend gute Bewertung aufweisen oder den Schwellenwert eines Kriterienblocks nicht erreichen. Sofern erforderlich, können Anhörungen (hearings) anberaumt werden um Antragstellern die Gelegenheit gegeben, Unklarheiten bezüglich ihrer Anträge auszuräumen. In der Praxis fand dieses Verfahren aber bislang kaum Anwendung. Das 7. Rahmenprogramm sieht vermehrt auch die Möglichkeit einer Evaluierung am Arbeitsplatz des Gutachters vor (Remote Evaluation), bei der die Anträge i. d. R.   elektronisch den GutachterInnen zur Verfügung gestellt werden.


Formale Kriterien
Bevor ein Antrag zur Begutachtung durch unabhängige Experten herangezogen werden kann, wird zunächst überprüft, ob er sämtliche formale Kriterien erfüllt:

  • Projektvorschlag entspricht dem Inhalt einer aktuellen Ausschreibung (siehe Ausschreibungstext)
  • Das beantragte Instrument ist für das Thema geöffnet (siehe Arbeitsprogramm und Ausschreibungstext)
  • Vollständigkeit der Antragsunterlagen (siehe Leitfaden für Antragsteller)
  • Erfüllung der Mindestpartnerzahl (siehe Ausschreibungstext)
  • Fristgerechter Einreichung des Antrags (siehe Ausschreibungstext)

Das elektronische Einreichungssystem EPSS prüft jeden Antrag automatisch hinsichtlich der Erfüllung formaler Kriterien. 

 

Auswahlkriterien
In den Beteiligungsregeln und dem jeweiligen Arbeitsprogramm findet sich ein festgelegter Satz von Auswahlkriterien, welche durch spezifische Auswahlkriterien in Abhängigkeit vom Themenbereich und Maßnahmentyp ergänzt werden kann. Wissenschaftlich-technische Qualität und Grad der Innovation
In den Beteiligungsregeln sind folgende grundlegende Evaluierungskriterien für alle Projekte der Programm Zusammenarbeit und Kapazitäten festgelegt:

  • Relevanz für die Erreichung der Programmziele
  • Wissenschaftliche/technologische Exzellenz
  • Potenzieller "Impact" durch Entwicklung, Verbreitung oder Verwertung der Projektergebnisse
  • Qualität und Effizienz von Projektimplementierung und -management


Im Arbeitsprogramm Kooperation werden diese Kriterien wie folgt angewendet:

  1. Wissenschaft- lich/ technologiesche Exzellenz  2. Qualität und Effizienz der  Projektimple-mentierung und des Managements 3. Potentieller Impact durch Entwicklung, Verbreitung und Nutzung
Alle Förder-arten  
  • Sinnhaftigkeit des Projketkonzepts
  • Qualität der Ziele
  • Angemessenheit der Strukturen und Verfahren des Projektmana-gements
  • Qualität und Erfahrung der Teilnehmer
  • Beitrag zum erwarteten Impact wie im Arbeitspro-gramm definiert
Verbund-projekte
  • Geplanter Fortschritt  gegenüber "state-of-the-art"
  • Qualität und Effizienz der Methodologie und ihres Arbeitsplans
  • Qualität des Konsortiums als ganzes (inkl. Ausgewogenheit und Komplemen-tarität)
  • Angemessenheit der Ressourcen  (Budget, Mitarbeiter, Equipment)
  • Angemessen-heit der Maßnahmen für Verbreitung / Nutzung
  • IPR-Manage-ment
Excellenz-netze
  • Beitrag zur langfristigen Integration von qualitative hochwertiger Forschung
  • Qualität und Effizienz des "Joint Programme of Activities" und des dazugehörigen Arbeitsplans
  • Qualität des Konsortiums als ganzes (einschl. der Fähigkeit, die Fragmentierung in dem Forschungs-bereich zu bekämpfen und dem Einsatz/Engagement zu einer tiefen und dauerhaften institutionellen Integration)
  • Angemessenheit der Ressourcen für die erfolgreiche Durchführung des "Joint Programme of Activities"
  • Angemessen-heit der Maßnahmen für Verbreitung der Exzellenz, Nutzung der Projektergeb-nisse oder Verbreitung von Exzellenz durch Engagement mit "Stakehol-dern" und der Öffentlichkeit
Koordinier-ungs- und Unter-stützungs-maßnahmen

CA:

  • Beitrag zur Koordinierung von hochwertiger Forschung
  • Qualität und Effizienz der Koordinierungs-mechanismen und des Arbeitsplans


SA:

  • Qualität und Effizienz  der Mechanismen der Unterstützungs-maßnahme und ihres Arbeitsplans
  • Qualität des Konsortiums als ganzes (inkl. Komplemen-tarität, Ausgewogenheit) [SA: nur falls relevant]
  • Angemessenheit der Budgetaufteilung und Rechtfertigung den eizusetzenden Ressourcen (Budget, Mitarbeiter, Equipment)
  • Angemessen-heit der Maßnahmen für Verbreitung der Exzellenz, Nutzung oder Verbreitung der Kenntnisse durch Engagement mit "Stakehol-dern" und der Öffentlichkeit
Forschung zum Nutzen spezifischer Gruppen
  • Innovativer Character des Projekts im Vergleich zum "state-of-the art
  • Beitrag zum wissenschaft-lichen / technologischen Fortschritt
  • Qualität und Effizienz der Methodologie und ihres Arbeitsplans
  • Qualität des Konsortiums als ganzes (inkl. Ausgewogenheit und Komplemen-tarität)
  • Angemessenheit der Budgetaufteilung und Rechtfertigung der eizusetzenden Ressourcen (Budget, Mitarbeiter, Equipment)
  • Angemessen-heit der Maßnahmen für Verbreitung / Nutzung der Projektergeb-nisse und des IPR-Managements

 

 

Für die Programme Ideen und Menschen gibt es darüber hinaus weitere Kriterien.

 

Leitfaden für Antragstellende
Der Leitfaden für Antragstellende (Guide for Applicants) enthält einen Annex 2 zum Thema Evaluierung und bietet darin einen Überblick über die grundlegenden Verfahrensweisen bei der Begutachtung von Projektvorschlägen

 

Öffentliche Namenslisten von Evaluatoren im FRP

Die Europäische Kommission veröffentlicht regelmäßig die Namen der Personen, die als Gutachter/innen Projekte im FRP evaluiert haben.

Die Listen stehen für folgende Jahre zur Verfügung:

6. FRP: 

 2003  http://cordis.europa.eu/fp6/experts2003.htm
 2004  http://cordis.europa.eu/fp6/experts2004.htm
 2005  http://cordis.europa.eu/fp6/experts2005.htm
 2006  http://cordis.europa.eu/fp6/experts2006.htm

7. FRP:

 2007/ 2008  http://cordis.europa.eu/fp7/experts_en.html
 

 

 

Aktuelles

Die Europäische Kommission hat die Listen der Personen veröffentlicht, die im 6. FRP als Gutachterinnen und Gutachter tätig waren. Die Listen der Jahre 2003 bis 2006 können auf dem CORDIS-Server eingesehen werden."