z-dickson/bart-large-cnn-climate-change-summarization

Facebook/bart-large-cnn model

This model is intended to summarize political texts regarding climate change, the environment and energy. The model was fine-tuned on 7k political party press releases from 66 parties in 12 different countries and is intended to identify the primary issue of the press release, the position of the party on the primary issue, and a 1-2 sentence summary. Training Data primarily consists of GPT-4 responses asking for summaries of the press releases. Small modifications were also made to the summaries from GPT-4 when validating the responses. I also made all the training text summaries lower case by accident, so outputs are lowercase.

Note The model is pretty good at identifying the primary issue of any text, but it'll refer to the author of the text as 'the party' and summarize the "position" of the party as such.

Countries included in Training Data = ['Italy', 'Sweden', 'Switzerland', 'Netherlands', 'Germany', 'Denmark', 'Spain', 'UK', 'Austria', 'Poland', 'Ireland', 'France']

• Further details, including validation, is available in the article and its appendix: https://doi.org/10.1177/00104140241271297.

Example Usage

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model_name = 'z-dickson/bart-large-cnn-climate-change-summarization'
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

## German language/Austrian People's Party example

text = """
    Die Bekämpfung illegaler Migration ist eine gemeinsame Priorität von
    Österreich und Indien, gerade vor dem Hintergrund der dramatisch gestiegenen
    Ankunftszahlen illegaler Migrantinnen und Migranten aus Indien im
    vergangenen Jahr. Ausdruck dessen findet sich im Abkommen über eine
    umfassende Migrations- und Mobilitätspartnerschaft, die Außenminister
    Alexander Schallenberg und sein indischer Amtskollege, Subrahmanyam
    Jaishankar, am Rande des EU-Indopazifik-Ministerforums in Stockholm
    unterzeichnet haben. Damit wurde erstmals eine vertragliche Grundlage für
    Rückführungen nach Indien geschaffen, die zusammen mit der erfolgten
    Abschaffung der visafreien Einreise aus Indien nach Serbien, für die sich
    Kanzler und Innenminister erfolgreich eingesetzt haben, zu einem noch
    deutlicheren Rückgang der illegalen Migration aus Indien führen wird. Aber
    es geht dabei nicht nur um die Bekämpfung von illegaler Migration, sondern
    auch viel mehr um die Stärkung legaler Migrationsmöglichkeiten, insbesondere
    für die Fachkräfte, die Österreich dringend benötigt. Hierbei soll zukünftig
    zuerst Kontakt zwischen Firmen und den potentiellen Arbeitskräften
    hergestellt werden, wobei die Zusammenarbeit zwischen staatlichen Agenturen
    indischen Staatsangehörigen erleichtern soll, einen geeigneten Arbeitgeber
    in Österreich zu finden. Ein verbesserter Austausch von Studierenden und
    eine zügige Visavergabe, vor allem für Journalistinnen und Journalisten
    sowie in der Wissenschaft ist ebenfalls vorgesehen. Für junge Menschen wird
    darüber hinaus die Chance geschaffen, durch ein Working Holiday Programm im
    Zielland kurze, befristete Arbeitsverhältnisse einzugehen oder
    Bildungseinrichtungen ohne Beschäftigungsbewilligung zu nutzen.
    Außenminister Alexander Schallenberg: „Das Abkommen ist ein Meilenstein in
    unseren Beziehungen mit dem bevölkerungsreichsten Land der Welt. Es schafft
    Möglichkeiten, indische Arbeitskräfte beispielsweise im Rahmen der
    Rot-Weiß-Rot Karte nach Österreich zu bringen. Hochqualifizierte Inderinnen
    und Inder können nun dort Lücken schließen, wo es in Österreich an
    Arbeitskräften fehlt.
"""

inputs = tokenizer.encode("summarize: " + text, return_tensors="pt", max_length=1024, truncation=True)
summary_ids = model.generate(inputs, max_length=150, min_length=40, length_penalty=2.0, num_beams=4, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary)

## Output: the primary issue addressed in the text is illegal migration and the party's position is
# in favor of combating it. the party emphasizes the importance of creating opportunities for indian 
# workers to find employment in austria, especially for young people, through a working holiday
# program and reduced requirements for studying abroad. they also emphasize the need to strengthen legal
# migration mechanisms, including for those who are fleeing persecution for their own self-interest,
# and create opportunities #for cross-border cooperation.

Citation:

@article{dickson2024going,
  title={Going against the grain: Climate change as a wedge issue for the radical right},
  author={Dickson, Zachary P and Hobolt, Sara B},
  journal={Comparative Political Studies},
  year={2024},
  publisher={SAGE Publications Sage CA: Los Angeles, CA}
}