Input
Selected meta-agent role (requirements_analyst):
# Rolle: Requirements-basierter Prompt-Review-Analyst
Du bist die Schnittstelle zwischen der Qualitätsprüfung und dem Task-Agenten,
der einen bestehenden Prompt verbessert. Du überführst die Befunde des
Prüfberichts in eindeutige, nachvollziehbare und überprüfbare Änderungen an
den Vorgaben des Task-Agenten.
Du änderst weder den geprüften Ausgangsprompt noch den erzeugten
Kandidaten-Prompt direkt. Du änderst ausschließlich die Anweisungen im
Prompt-Design-Agenten, damit dessen nächster Kandidat die belegten
Schwachstellen gezielt behebt.
## Verbindliches Vorgehen
Für jeden relevanten Prüfbefund:
1. Ordne ihn einer konkreten Stelle oder Regel im geprüften Prompt zu.
2. Trenne beobachteten Befund, nachweisbare Ursache und erforderliche Änderung.
3. Kennzeichne eine nicht belegbare Ursache als „nicht eindeutig bestimmbar“.
4. Leite nur Änderungen ab, die durch den Prüfbericht begründet sind.
5. Formuliere das gewünschte Verhalten so, dass es in der nächsten Prüfung
überprüft werden kann.
6. Erhalte bestehende Anforderungen, die der Änderung nicht widersprechen.
7. Nutze ältere Generationsartefakte, wenn sie die Rückverfolgbarkeit einer
Änderung verbessern oder eine bereits erfolglose Änderung erkennen lassen.
Vermeide Vermutungen über die Absicht des Prompt-Autors, unbelegte Ursachen,
allgemeine Forderungen wie „klarer formulieren“ und eine vollständige
Neufassung des Prompts. Der Prüfbericht darf frei formuliert sein; maßgeblich
sind seine nachvollziehbaren Befunde und Hinweise, nicht eine starre Liste von
Feldern.
You are improving the prompt-generation strategy for Prompt Evolution.
Parent generation:
gen_000
Target generation:
gen_001
Latest evaluation:
Overall score: 100/100
Normalized score: 100.00%
Detailed evaluator report:
{
"rubric": {
"title": "Bewertungsschema für einen X-Post-Fact-Check-Prompt",
"application": "Produktiver Fact-Check von X-Posts, einschließlich impliziter Aussagen, visueller Inhalte, Schlussfolgerungen und des erkennbaren Anspruchs der veröffentlichenden Quelle.",
"scientific_basis": "Die Gewichtung orientiert sich an der Aufgabeneignung: Die zutreffende Bestimmung der Hauptaussage, belastbare Evidenz und ein daraus folgerichtiges Urteil erhalten das größte Gewicht, weil Fehler dort die Validität des gesamten Fact-Checks beeinträchtigen. Logikprüfung und Quellenstatus werden getrennt bewertet, damit unterschiedliche Anforderungen nicht vermischt werden. Beobachtbare Einzelanforderungen und feste Punkteschlüssel erhöhen Messbarkeit und Reliabilität wiederholter Bewertungen. Bewertet wird ausschließlich, was der Prompt anweist und operationalisiert – nicht, ob ein späterer Fact-Check tatsächlich gelingt.",
"criteria": [
{
"id": "claim_interpretation",
"name": "Bestimmung der vermittelten Aussage",
"max_points": 16,
"definition": "Ob der Prompt die Ermittlung expliziter und impliziter Aussagen aus dem gesamten Post eingrenzt und nachvollziehbar macht.",
"scoring_guide": "Je 4 Punkte für ausdrücklich geregelte Anforderungen: (1) Text und visuelle Bestandteile gemeinsam berücksichtigen; (2) explizite und implizite Behauptungen unterscheiden; (3) implizite Aussagen auf die engste objektiv gestützte Leserinterpretation begrenzen; (4) mehrere plausible Interpretationen und ihre Unsicherheit getrennt ausweisen. Sonst jeweils 0 Punkte; Summe 0 bis 16.",
"weight_rationale": "Eine falsch zugeschriebene Hauptaussage entwertet auch eine sorgfältige Prüfung der Einzelbelege."
},
{
"id": "evidence_standard",
"name": "Verifizierung und Evidenz",
"max_points": 16,
"definition": "Ob der Prompt überprüfbare Vorgaben für Recherche, Quellenqualität und Belegzuordnung enthält.",
"scoring_guide": "Je 4 Punkte für ausdrücklich geregelte Anforderungen: (1) aktuelle externe Recherche statt ausschließlich internen Wissens; (2) mehrere voneinander unabhängige Quellen; (3) Prüfung von Primärbelegen und ausdrücklicher Umgang mit Quellenwidersprüchen; (4) Belege unmittelbar den jeweils geprüften Aussagen zuordnen. Sonst jeweils 0 Punkte; Summe 0 bis 16.",
"weight_rationale": "Ein evidenzbasierter Fact-Check benötigt überprüfbare Belege; Quellenzahl allein genügt dafür nicht."
},
{
"id": "logical_inference",
"name": "Eigenständige Logikprüfung",
"max_points": 13,
"definition": "Ob der Prompt die Tragfähigkeit der Schlussfolgerung unabhängig vom Wahrheitswert einzelner Angaben prüfen lässt.",
"scoring_guide": "4 Punkte für die ausdrücklich eigenständige Prüfung, ob die Evidenz die Schlussfolgerung trägt; 3 Punkte für die Unterscheidung von Korrelation und Kausalität sowie die Prüfung alternativer Erklärungen; 3 Punkte für die Suche nach sachgleichen Gegenbeispielen bei allgemeinen Aussagen; 3 Punkte für die ausdrückliche Trennung von korrekten Teilangaben und der Tragfähigkeit der Gesamtargumentation. Nicht ausdrücklich geregelte Teilanforderungen erhalten jeweils 0 Punkte; Summe 0 bis 13.",
"weight_rationale": "Der Anwendungsfall verlangt eine Logikprüfung und nicht lediglich die Verifizierung isolierter Fakten."
},
{
"id": "verdict_rules",
"name": "Folgerichtigkeit des Gesamturteils",
"max_points": 18,
"definition": "Ob der Prompt das Overall Verdict anhand der zentral vermittelten Aussage und unterscheidbarer Urteilsbedingungen festlegt.",
"scoring_guide": "5 Punkte, wenn die zentrale Aussage ausdrücklich Vorrang vor zutreffenden Nebenangaben hat; 5 Punkte, wenn die angebotenen Urteilskategorien durch voneinander abgrenzbare Bedingungen erläutert werden; 4 Punkte, wenn eine widerlegte zentrale Aussage ausdrücklich zu „False“ führt, ohne Ersatz durch ein bloß vorsichtigeres Urteil; 4 Punkte, wenn fehlende Belege, teilweise zutreffende Aussagen und irreführender Kontext ausdrücklich vom Nachweis einer falschen Hauptaussage unterschieden werden. Nicht erfüllte Teilanforderungen erhalten jeweils 0 Punkte; Summe 0 bis 18.",
"weight_rationale": "Das Gesamturteil ist das entscheidende Ergebnis für Leser. Klare Entscheidungsregeln fördern Validität und konsistente Wiederholungsbewertungen."
},
{
"id": "source_status",
"name": "Umgang mit dem Status der veröffentlichenden Quelle",
"max_points": 12,
"definition": "Ob der Prompt den objektiv erkennbaren Quellenstatus berücksichtigt, ohne den Wahrheitswert von der Person abzuleiten.",
"scoring_guide": "Je 3 Punkte für ausdrücklich geregelte Anforderungen: (1) Status anhand erkennbarer Merkmale bestimmen; (2) Wahrheitswert unabhängig vom Autor beurteilen; (3) den erhobenen fachlichen oder institutionellen Anspruch als Maßstab für Beleg- und Darstellungssorgfalt verwenden; (4) kenntlich machen, wie ein Verstoß gegen diesen Veröffentlichungsstandard in die Begründung des Urteils eingeht, ohne fehlende Belege mit einer Widerlegung gleichzusetzen. Sonst jeweils 0 Punkte; Summe 0 bis 12.",
"weight_rationale": "Der Quellenstatus ist eine Besonderheit dieses Prompts. Seine getrennte Prüfung schützt davor, Autorität mit Wahrheit oder fehlende Sorgfalt mit Falschheit zu verwechseln."
},
{
"id": "post_context",
"name": "Originalpost, Zeitkontext und Zuschreibung",
"max_points": 10,
"definition": "Ob der Prompt typische Kontextverluste bei X-Posts anhand konkret prüfbarer Merkmale behandelt.",
"scoring_guide": "3 Punkte für den Abgleich eines Screenshots mit dem vollständigen Originalpost; 3 Punkte für die Prüfung von Zeitstempel und zeitlichem Bezug zeitabhängiger Aussagen; 2 Punkte für die getrennte Prüfung von Quellenzuschreibung und Inhalt der zugeschriebenen Aussage; 2 Punkte für die gesonderte Prüfung, ob der Poster die zugeschriebene Aussage selbst übernimmt. Nicht erfüllte Teilanforderungen erhalten jeweils 0 Punkte; Summe 0 bis 10.",
"weight_rationale": "Diese Merkmale bestimmen, welcher Inhalt überhaupt geprüft wird und ob eine Aussage im richtigen Kontext bewertet wird."
},
{
"id": "unavailable_information",
"name": "Regeln für nicht verfügbare Informationen",
"max_points": 8,
"definition": "Ob der Prompt festlegt, wie ohne Erfindungen weiterzuarbeiten ist, wenn verlangte Rechercheschritte nicht möglich oder nicht ergiebig sind.",
"scoring_guide": "Je 2 Punkte für eine ausdrückliche Handlungsregel bei (1) fehlendem Webzugriff, (2) nicht auffindbarem vollständigem Originalpost, (3) weniger als der geforderten Zahl unabhängiger Quellen und (4) nicht eindeutig verifizierbarem offiziellem X-Handle. Eine bloße Pflicht zur Recherche zählt nicht als Handlungsregel für deren Scheitern. Sonst jeweils 0 Punkte; Summe 0 bis 8.",
"weight_rationale": "Ausfallregeln machen einen produktiven Prompt robuster und verringern den Anreiz, fehlende Informationen als verifiziert auszugeben."
},
{
"id": "output_traceability",
"name": "Nachvollziehbarkeit der Ausgabe",
"max_points": 7,
"definition": "Ob die verlangte Ausgabe dem Leser erlaubt, Aussage, Prüfung und Endurteil auseinanderzuhalten und zu verbinden.",
"scoring_guide": "2 Punkte für getrennte Ausgabefelder zu Hauptaussage, Einzelbehauptungen, Logik und Gesamturteil; 2 Punkte für eine ausdrücklich verlangte Herleitung vom Befund zum Endurteil; 2 Punkte für die Herleitung der vermittelten Botschaft aus beobachtbaren Postbestandteilen einschließlich Unsicherheitsangabe; 1 Punkt für eine erkennbare Struktur oder Priorisierung, die wesentliche Befunde auffindbar hält. Nicht erfüllte Teilanforderungen erhalten jeweils 0 Punkte; Summe 0 bis 7.",
"weight_rationale": "Ein nachvollziehbares Format unterstützt die Prüfung des Ergebnisses; es erhält weniger Gewicht als die inhaltlichen Entscheidungsregeln."
}
]
},
"evaluation": {
"rubric_id": "e7391d701ddb1985",
"criterion_scores": [
{
"id": "claim_interpretation",
"points": 16,
"evidence": "Abschnitt 2 verlangt die gemeinsame Auswertung von Text und visuellen Bestandteilen, trennt explizite von impliziten Behauptungen und begrenzt die Hauptaussage auf die engste vernünftige Leserinterpretation. Abschnitt 7 verlangt getrennte Deutungen und jeweils begründete Unsicherheit.",
"improvement": "Keine"
},
{
"id": "evidence_standard",
"points": 16,
"evidence": "Abschnitt 1 verlangt aktuelle Websuche, mindestens drei unabhängige Quellen, Primärquellenprüfung und die Offenlegung von Quellenwidersprüchen. Abschnitt 7 verlangt Links unmittelbar an den belegten Aussagen.",
"improvement": "Keine"
},
{
"id": "logical_inference",
"points": 13,
"evidence": "Abschnitt 3 prüft die Schlussfolgerung unabhängig vom Wahrheitswert der Einzelangaben, nennt Korrelation und Kausalität sowie Alternativerklärungen und verlangt sachgleiche Gegenbeispiele. Abschnitt 5 stellt klar, dass echte Zahlen oder Zitate eine falsche Hauptaussage nicht retten.",
"improvement": "Keine"
},
{
"id": "verdict_rules",
"points": 18,
"evidence": "Abschnitt 5 gibt der zentralen Aussage Vorrang, definiert fünf unterscheidbare Urteile und schreibt bei nachweislich falscher Hauptaussage ausdrücklich „False“ vor. Fehlende Belege, gemischte wesentliche Aussagen und irreführender Kontext werden davon abgegrenzt.",
"improvement": "Die Regel zum nicht verifizierten Originalpost mit der Kategorie „Unverified“ sprachlich vereinheitlichen."
},
{
"id": "source_status",
"points": 12,
"evidence": "Abschnitt 4 verlangt eine Einordnung des erkennbaren Status und Anspruchs, beurteilt Wahrheit unabhängig vom Autor und verwendet den erhobenen Anspruch als Maßstab für Beweisführung und Darstellung. Abschnitte 4 und 5 trennen einen Verstoß gegen diesen Standard von der Widerlegung einer Aussage.",
"improvement": "Keine"
},
{
"id": "post_context",
"points": 10,
"evidence": "Abschnitt 1 verlangt den Abgleich mit dem vollständigen Originalpost sowie die Prüfung von Veröffentlichungs- und Ereignisdatum. Abschnitt 2 bewertet Zuschreibung, Inhalt und Übernahme durch den Poster getrennt.",
"improvement": "Keine"
},
{
"id": "unavailable_information",
"points": 8,
"evidence": "Abschnitt 1 regelt fehlenden Webzugriff, einen nicht verifizierbaren Originalpost und weniger als drei unabhängige Quellen. Abschnitt 6 schreibt bei nicht belastbar bestätigtem offiziellem Handle die Verwendung ausschließlich des Namens vor.",
"improvement": "Keine"
},
{
"id": "output_traceability",
"points": 7,
"evidence": "Abschnitt 7 trennt Hauptaussage, Einzelprüfung, Logik und Gesamturteil, verlangt eine Beleg- und Schlusskette sowie die Herleitung möglicher Botschaften aus konkreten Postbestandteilen mit gesonderter Unsicherheitsangabe. Die Ausgabe ist klar gegliedert.",
"improvement": "Keine"
}
],
"total_score": 100,
"priority_fixes": [
{
"criterion_id": "verdict_rules",
"location": "Abschnitt 1, Absatz zum Originalpost; Abschnitte 5 und 7",
"problem": "Bei nicht verifiziertem Originalpost untersagt Abschnitt 1 ein abschließendes Urteil, während Abschnitt 5 dafür „Unverified“ als Overall Verdict vorsieht. Abschnitt 7 verlangt zugleich ein Overall Verdict und kennzeichnet die Einschätzung als vorläufig.",
"change": "Ausdrücklich festlegen, dass „Unverified“ in diesem Fall nur den vorläufigen Prüfstatus des verfügbaren Materials bezeichnet und kein abschließendes Urteil über den Gesamtpost ist."
}
]
}
}
The evaluation and task context needed for this run are included here. Use the
parent generation artifacts when they help you understand what the current
agent produced and how it was evaluated.
This domain improves an existing source prompt instead of designing a prompt
from scratch. The generator should preserve the source prompt's core purpose
while improving clarity, robustness, operational rules, and consistency.
Translate supported evaluator findings into changes to the Task-Agent's
instructions in /home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/prompt_design_agent.py. Do not directly edit the source prompt or a
generated candidate prompt. The next Task-Agent run creates the revised
candidate from the changed instructions.
You may read:
- /home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/prompt_design_agent.py
- /home/USER/PromptEvolution/domains/prompt_design/prompt.md
- files inside /home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/outputs/prompt_design/gen_000
- files inside /home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/outputs/prompt_design/gen_001/meta_workspace
You may edit:
- /home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/prompt_design_agent.py
You may freely create, edit, and remove files inside:
- /home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/outputs/prompt_design/gen_001/meta_workspace
If you want to reinterpret, summarize, or adapt the task for this run, write
that as a new artifact inside the workspace. Keep the source prompt
and all evaluation/report files unchanged.
Make an actual code change to /home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/prompt_design_agent.py. Do not merely describe changes.
TOOL PROTOCOL:
- Use exactly ONE tool per response.
- Tool calls MUST use exactly this format:
<json>
{
"tool_name": "...",
"tool_input": {...}
}
</json>
- Never use <function_calls>, <invoke_tool>, XML tool calls, or any other
tool-call syntax.
- Never simulate a tool result.
- Every editor call must include the absolute `path` inside `tool_input`.
- For `str_replace`, use `command`, `path`, `old_str`, and `new_str` together.
- If editor returns an error, correct the JSON and retry editor; do not switch
to bash, sed, or another editing method.
- Wait for the real tool result before making the next tool call.
After editing:
1. Inspect the changed files.
2. Finish with a short summary. The loop runs py_compile and validates the
patch after your response; no shell tool is available to you.
For this run the evolution scope is PROMPT ONLY.
Target file:
/home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/prompt_design_agent.py
Workspace:
/home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/outputs/prompt_design/gen_001/meta_workspace
STRICT CONSTRAINTS:
- Preserve generate_prompt(task: str) -> str.
- It must continue to return a Python string.
- Keep the existing single Task-Agent LLM call.
- Do not add runtime evaluator logic or extra model calls.
- Improve the prompt-generation strategy inside generate_prompt().
- Preserve the behavior that the Task-Agent improves an existing prompt and
does not replace it with an unrelated prompt.
IMPLEMENTATION PROTOCOL:
- Make exactly one small but meaningful improvement.
- First use editor view on the target file with `line_numbers: false`.
- Your first response must be this actual editor call, with no surrounding text:
<json>{"tool_name":"editor","tool_input":{"command":"view","path":"/home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/prompt_design_agent.py","line_numbers":false}}</json>
- Then use editor str_replace on a short exact substring copied verbatim from
the file you viewed.
- Copy only actual file text into `old_str` and `new_str`. Never add display
labels such as `15\t`, and never invent extra fields such as `new_str_2`.
- Prioritize the actual edit before exploration or documentation. Do not list
directories or create notes, reports, checklists, or summaries before editing.
- If an edit fails, use the real error and file contents to fix that edit next.
- Never assume a proposed tool call was executed. Only real tool results prove
that a change or validation happened.
- Do not replace the whole function or whole file.
- Do not use sed.
- After the edit, view the file again.
- The loop runs py_compile and patch validation after you finish. You do not
need to run either check yourself.
- Documentation is not required; prefer finishing immediately with a short
plain-text summary. Do not spend tools printing success messages.
- Reserve remaining tool calls for the edit, verification, and necessary fixes.
- Do not finish unless the target file actually changed.
SUGGESTED TOOL CYCLE:
1. editor view with `line_numbers: false`
2. editor str_replace
3. editor view to verify the real change
4. finish with a short plain-text summary (the loop performs py_compile)
Meta-Agent
<json>
{"tool_name": "editor",
"tool_input": {
"command": "str_replace",
"path": "/home/USER/PromptEvolution/runs/sol6_only_generated_rubric_bestLast_260925/prompt_design_agent.py",
"old_str": "and well-structured sections over broad or decorative language.\n\nDo not turn the source prompt into a different product.",
"new_str": "and well-structured sections over broad or decorative language.\n\nWhen improving an X-post fact-check prompt, reconcile the rules for a missing\nverified original post: if the output still requires an Overall Verdict, label\n\"Unverified\" explicitly as the provisional status of the available material,\nnot a final judgment about the complete post. Keep the other verdict rules intact.\n\nDo not turn the source prompt into a different product."
}
}
</json>