evidence-seeker-demo / app_config.yaml
scacean's picture
Changing to Llama 70b as preprocessor model.
5455286
subdirectory_construction: daily
confirmation_analysis_config_file: ./config/confirmation_analysis_config.yaml
preprocessing_config_file: ./config/preprocessing_config.yaml
retrieval_config_file: ./config/retrieval_config.yaml
repo_name: debatelab/evidence-seeker-results
write_on_github: True
github_token_name: GITHUB_TOKEN
logging: True
password_protection: True
password_env_name: APP_HASH
force_agreement: True
result_dir: data
group_docs_by_sources: true
language: de
example_inputs:
de:
- Die Osterweiterung hat die EU-Institutionen nachhaltig geschwächt.
- In den knapp 70 Jahren seit ihrer Gründung hat es in der Bundeswehr immer wieder rechtsextremistische Vorfälle gegeben.
- In der Bundeswehr gibt es keinen politischen Extremismus.
- Die BRICS-Staaten sorgen für eine Veränderung der westlich geprägten Weltordnung.
- Die Genfer Konventionen sind oft hinter ihrem Anspruch, die Zivilbevölkerung zu schützen, zurückgeblieben.
- Die Anzahl hybrider Kriege hat zugenommen.
- Es ist für Deutschland wirtschaftlich ein Nachteil, dass viele Frauen in Teilzeit arbeiten.
- Premier Modi hat Putin als seinen Freund bezeichnet.
- Eine Minderheit der deutschen Bevölkerung befürwortet einen autoritären deutschen Staat.
- Carl Schmitt war der Meinung, dass liberale Demokratien nicht in der Lage sind, sich gegen ihre Feinde zu verteidigen.
- Liberale Demokratien sind nicht in der Lage, sich gegen ihre Feinde zu verteidigen.
- Ein wesentliches Element im Populismus ist das Narrativ der Trennung eines homogenen Volkes und einer korrupten Elite.
- Demokratien sind zerbrechlich.
translations:
de:
ascriptive: zuschreibend
descriptive: deskriptiv
normative: normativ
strongly_confirmed: im hohen Maße bestätigt
confirmed: bestätigt
weakly_confirmed: im geringen Maße bestätigt
strongly_disconfirmed: im hohen Maße widerlegt
disconfirmed: widerlegt
weakly_disconfirmed: im geringen Maße widerlegt
inconclusive_confirmation: weder bestätigt noch widerlegt
The claim is neither confirmed nor disconfirmed.: Die Aussage wird weder bestätigt noch widerlegt.
The claim is strongly confirmed.: Die Aussage wird im hohen Maße bestätigt.
The claim is strongly disconfirmed.: Die Aussage wird im hohen Maße widerlegt.
The claim is weakly confirmed.: Die Aussage wird in geringem Maße bestätigt.
The claim is weakly disconfirmed.: Die Aussage wird in geringem Maße widerlegt.
ui_texts:
ui_texts_lang_dict:
de:
title: 🕵️‍♀️ EvidenceSeeker DemoApp
info: |
<div style="background-color: #f8fafc; border: 1px solid #e2e8f0; border-radius: 8px; padding: 20px; margin: 10px 0;">
<details style="cursor: pointer;">
<summary style="font-weight: 600; font-size: 16px; color: #374151; margin-bottom: 15px; outline: none;">
📋 Informationen zur DemoApp
</summary>
<div style="margin-top: 15px; line-height: 1.6; color: #4b5563;">
<div style="margin-bottom: 20px;">
<h4 style="color: #1f2937; margin: 0 0 8px 0; font-size: 14px; font-weight: 600;">
🔍 Grundidee der Pipeline:
</h4>
<p style="margin: 0 0 12px 15px; font-size: 14px;">
Die Pipeline findet in einem ersten Schritt unterschiedliche Interpretationen deiner Eingabe und unterscheidet
dabei <em>deskriptive, zuschreibende und normative Aussagen</em>. Für die gefundenen deskriptiven und
zuschreibenden Interpretationen wird dann in einer <em>Wissensbasis</em> nach relevanten Textstellen gesucht
und analysiert, inwiefern die Textstellen die gefundene Interpretation bestätigen oder widerlegen.
Diese Einzelanalysen werden für jede Interpretation in Form eines <em>Bestätigungslevels</em> aggregiert.
Nähere Informationen zur Pipeline findest Du
<a href="#" style="color: #3b82f6; text-decoration: none;">hier</a>.
</p>
</div>
<div style="margin-bottom: 20px;">
<h4 style="color: #1f2937; margin: 0 0 8px 0; font-size: 14px; font-weight: 600;">
🤖 Verwendete Modelle und Wissensbasis:
</h4>
<p style="margin: 0 0 12px 15px; font-size: 14px;">
In dieser Demo App verwenden wir
<a href="https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2" style="color: #3b82f6; text-decoration: none;" target="_blank">paraphrase-multilingual-mpnet-base-v2</a>
als Embedding Modell und
<a href="https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct" style="color: #3b82f6; text-decoration: none;" target="_blank">Llama-3.3-70B-Instruct</a> als generatives Sprachmodell. Als Wissensbasis dienen
alle Ausgaben von "Aus Politik und Zeitgeschichte" aus dem Jahr 2024
(<a href="https://www.bpb.de/shop/zeitschriften/apuz/?field_filter_thema=all&field_date_content=2024&d=1"
style="color: #3b82f6; text-decoration: none;" target="_blank">Link</a>).
</p>
</div>
<div style="margin-bottom: 20px;">
<h4 style="color: #1f2937; margin: 0 0 8px 0; font-size: 14px; font-weight: 600;">
💡 Beispiele:
</h4>
<p style="margin: 0 0 12px 15px; font-size: 14px;">
Eingaben anderer User:innen und die entsprechenden Ergebnisse der Pipeline findest Du unter
<a href="https://debatelab.github.io/evidence-seeker-results/"
style="color: #3b82f6; text-decoration: none;" target="_blank">
https://debatelab.github.io/evidence-seeker-results/
</a>.
</p>
</div>
<div style="border-top: 1px solid #e5e7eb; padding-top: 15px; margin-top: 20px;">
<p style="margin: 0; font-size: 13px; color: #6b7280;">
Die EvidenceSeeker Demoapp ist Teil des vom BMBFSFJ geförderten
<a href="https://compphil2mmae.github.io/research/kideku/"
style="color: #3b82f6; text-decoration: none;" target="_blank">KIdeKu Projekts</a>.
Nähere Informationen zur <em>EvidenceSeeker Boilerplate</em> findest Du
<a href="https://debatelab.github.io/evidence-seeker"
style="color: #3b82f6; text-decoration: none;" target="_blank">hier</a>.
</p>
</div>
</div>
</details>
</div>
description: "**Gib eine Aussage in das Textfeld ein und lass sie durch den EvidenceSeeker prüfen:**"
statement_label: "Zu prüfende Aussage:"
random_example: Zufälliges Beispiel
check_statement: Prüfe Aussage
checking_message: "### Aussage wird geprüft... Dies könnte ein paar Minuten dauern."
feedback_question: Wie zufrieden bist du mit der Antwort?
privacy_title: Datenschutzhinweis & Disclaimer
consent_info: "**Einwilligung zur Datenweiterverarbeitung (Optional)**"
agree_button: Ich habe die Hinweise zur Kenntnis genommen
password_label: |
Die EvidenceSeeker DemoApp ist passwortgeschützt.
Bitte gib für den Zugriff auf die App das Passwort ein.
wrong_password: Falsches Passwort. Bitte versuche es erneut.
continue_text: Weiter...
warning_label: "\u26A0\uFE0F <b>Warnung</b>"
server_error: Etwas ist auf unserer Seite schiefgegangen :-(
disclaimer_text: |
<div style="background-color:#fff7ed;padding:25px;border-radius: 10px;">
<p>⚠️ <b>Disclaimer</b></p>
<p>
Alle Ausgaben werden von Sprachmodellen generiert und geben nicht
zwangsläufig die Einschätzung oder Meinung der Entwickler:innen wieder.
</p>
<p>
Eingegebene Daten werden von Sprachmodellen verarbeitet. Bitte
beachte daher, keine personenbezogenen Daten einzugeben - auch weil
deine Eingaben unter Umständen gespeichert werden (siehe unten).
</p>
</div>
data_policy_text: |
<div style="background-color:#fff7ed;padding:25px;border-radius: 10px;">
<p>🗃️ <b>Datenschutzhinweis</b></p>
<p>
Auf der Seite <a href="https://debatelab.github.io/evidence-seeker-results/">https://debatelab.github.io/evidence-seeker-results/</a>
stellen wir beispielhaft
Ergebnisse dar, die von der EvidenceSeeker-Pipeline durch
die Interaktion mit Nutzer:innen über diese DemoApp erzeugt wurden.
</p>
<p>
Wir erheben und verwenden <strong>keine personenbezogenen Daten</strong>
(sofern sie nicht
über das Freitextfeld selbst eingegeben werden) und verwenden
<strong>nur</strong> von Nutzer:innen selbst eingegebene
Daten sowie den Zeitpunkt der Eingabe, die Rückgabe der Pipeline
und etwaiges Feedback durch die Nutzer:innen.
</p>
<p>
Wenn du das EvidenceSeeker Projekt damit unterstützen möchtest,
kannst du der Nutzung deiner Eingaben im Folgenden zustimmen.
</p>
</div>
consent_text: |
Ja, meine Anfragen an die EvidenceSeeker Pipeline und deren
Ergebnisse dürfen gespeichert und über das
EvidenceSeeker Projekt weiter verarbeitet und
veröffentlicht werden.
markdown_template:
de: |
## Deine Eingabe:
**"{{ statement }}"**
## Analyse des EvidenceSeekers:
Es folgen die von der Pipeline gefundenen Interpretationen der eingegebenen Aussage und deren Bestätigungslevel bezüglich der Wissensbasis.
{% for claim, sources in claims %}
---
**Gefundene Interpretation:** _{{ claim.text }}_ <font color="orange">[Aussagentyp: {{ translation[claim.statement_type.value] }}e Aussage]</font>
{% if sources %}
**Bestätigungslevel**: {{ translation[claim.confirmation_level.value] }}
<details>
<summary>Einzelanalysen bzgl. relevanter Textstellen</summary>
{% for doc_info in sources.values() %}
+ **Quelle:** {{ doc_info.author }} - *{{ doc_info.title }}* ([Link]({{ doc_info.url }}))
{% for text in doc_info.texts %}
+ *Textstelle:* "{{ text.original_text }}" (**Bestätigungslevel für die Interpretation:** *{{ translation[text.conf_level] }})*
<details>
<summary>Textstelle mit Textkontext</summary>
- "{{ text.full_text }}"
</details>
{% endfor %}
{% endfor %}
</details>
{% else %}
Aussagen vom Typ '{{ translation[claim.statement_type.value] }}' wurden vom EvidenceSeeker nicht geprüft.
{% endif %}
{% endfor %}