ModernBERT-base-es-legal-v2 / README.md

wilfredomartel

Update README.md

6afcfde verified 2 months ago

preview code

raw

history blame contribute delete

47.5 kB

metadata

language:
  - es
license: apache-2.0
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:7872
  - loss:MatryoshkaLoss
  - loss:MultipleNegativesRankingLoss
base_model: answerdotai/ModernBERT-base
widget:
  - source_sentence: >-
      La Corte Constitucional inadmitió a trámite la acción extraordinaria de
      protección N°. 3030-18-EP, presentada por Luis Alberto Bermeo Molina,
      debido a que el auto de llamamiento a juicio no constituye un auto
      definitivo. Según el artículo 58 de la Ley Orgánica de Garantías
      Jurisdiccionales y Control Constitucional, esta acción procede únicamente
      sobre sentencias y autos definitivos. El Tribunal de la Sala de Admisión,
      en su resolución del 27 de junio de 2019, consideró que el auto de
      llamamiento a juicio, si bien pone fin a una etapa procesal, no decide
      sobre el fondo del proceso penal ni produce efectos irrevocables, ya que
      los supuestos de hecho y derecho pueden ser desvirtuados en etapas
      posteriores. El artículo 608, numeral 5 del Código Orgánico Integral Penal
      (COIP) establece que las declaraciones contenidas en el auto de
      llamamiento a juicio no surten efectos irrevocables. Por consiguiente, al
      no ser un auto definitivo, la Corte Constitucional no es competente para
      tramitar esta acción, ya que no cumple con el objeto de la garantía
      jurisdiccional.
    sentences:
      - >-
        ¿Cuál fue la razón principal para que la Corte Constitucional
        inadmitiera la acción extraordinaria de protección del IESS en el caso
        1009-19-EP, basándose en el artículo 62, numeral 3 de la LOGJCC, que
        prohíbe basar la acción únicamente en la consideración de lo injusto de
        la sentencia?
      - >-
        ¿En qué fecha y ante qué instancia se presentó la acción extraordinaria
        de protección N°. 1311-19-EP, y cuál fue la pretensión concreta de la
        accionante?
      - >-
        ¿Cuál fue la razón principal por la que la Corte Constitucional
        inadmitió a trámite la acción extraordinaria de protección N°.
        3030-18-EP, presentada por Luis Alberto Bermeo Molina contra el auto de
        llamamiento a juicio?
  - source_sentence: >-
      La Sala de Admisión inadmitió la acción extraordinaria de protección N°.
      0609-19-EP porque el accionante basó su argumentación fundamentalmente en
      la supuesta no aplicación o errónea aplicación de la Ley Orgánica del
      Sistema de Contratación Pública (LOSNCP) en relación con el derecho a
      impugnar una multa. La Corte determinó que tales cuestiones, relativas a
      la correcta interpretación y aplicación de legislación ordinaria,
      corresponden exclusivamente a la jurisdicción ordinaria. El reclamo del
      accionante sobre la omisión de notificación de la resolución de multa y la
      consiguiente violación de su derecho a impugnar, conforme al Artículo 103
      de la LOSNCP, fue considerado un asunto de interpretación legal ordinaria
      y no una violación directa de derechos constitucionales que amerite
      revisión constitucional mediante acción extraordinaria de protección. La
      Corte citó el Artículo 62, numeral 4 de la Ley Orgánica de Garantías
      Jurisdiccionales y Control Constitucional (LOGJCC), que prohíbe fundar la
      acción en la falta de aplicación o errónea aplicación de la ley,
      enfatizando que su omisión desnaturaliza la acción extraordinaria de
      protección.
    sentences:
      - >-
        ¿Por qué la Sala de Admisión de la Corte Constitucional inadmitió la
        acción extraordinaria de protección N°. 0609-19-EP, presentada por
        Fernando Leopoldo Pérez contra el GAD de Tungurahua, respecto a una
        multa impuesta en una obra vial?
      - >-
        ¿Cuáles fueron los argumentos de la accionante, Directora de Asesoría
        Jurídica del Ministerio de Trabajo, para solicitar la acción
        extraordinaria de protección contra la sentencia de la Corte Provincial
        de Pichincha en el caso 1846-19-EP?
      - >-
        ¿En qué fecha la Sala de Admisión de la Corte Constitucional avocó
        conocimiento de la causa No. 2362-18-EP y quiénes conformaron el
        Tribunal ponente?
  - source_sentence: >-
      La señora Rosa Elvira Pérez Maldonado, en su acción extraordinaria de
      protección No. 0525-10-EP, fundamentó su reclamo en la presunta
      vulneración de sus derechos al debido proceso y a la debida motivación.
      Según el texto, «La recurrente, sostiene que el fallo objetado, vulnera
      los derechos al debido proceso y a la debida motivación que debe poseer
      toda resolución proveniente del poder público, contemplado en el artículo
      76, número 7, letra 1) de la Constitución de la República, toda vez que
      los Jueces demandados en su sentencia no han tomado en cuenta que existía
      una verdadera relación laboral entre el IESS y la accionante, relación que
      fue reconocida con la certificación otorgada por la señora Delegada de
      Recursos Humanos del IESS de la provincia de El Oro (a fojas 33), en la
      que se le encargó las funciones de Subdirectora Regional Administrativa,
      sin que dicho encargo, le obligue a renunciar a sus derechos como empleada
      de carrera (ingresó en el año 1974), sujeta a las normas del Código del
      Trabajo». La accionante argumentó que la sentencia emitida el 23 de marzo
      de 2010 por la Segunda Sala de lo Laboral de la Corte Nacional de Justicia
      incurrió en una falta de motivación al no tomar en cuenta este elemento
      fáctico y jurídico crucial, y que la sentencia debió haber considerado
      esta realidad para resolver el juicio verbal sumario signado con el número
      0307-2008.
    sentences:
      - >-
        ¿Cuáles fueron las razones específicas por las cuales la Corte
        Constitucional inadmitió a trámite la acción extraordinaria de
        protección N° 1169-19-EP presentada por el Banco Comercial de Manabí
        S.A. contra la sentencia de la Corte Nacional de Justicia?
      - >-
        ¿Qué normativa constitucional y legal fundamentó la pretensión de Rene
        Nicanor Crespo Campoverde al presentar la acción extraordinaria de
        protección N° 3056-18-EP y qué artículo del Código Orgánico de la
        Función Judicial consideró vulnerado?
      - >-
        ¿En qué consistió la alegada vulneración de los derechos al debido
        proceso y a la debida motivación por parte de la Segunda Sala de lo
        Laboral de la Corte Nacional de Justicia, según la acción extraordinaria
        de protección No. 0525-10-EP presentada por Rosa Elvira Pérez Maldonado?
  - source_sentence: >-
      La Corte Constitucional inadmitió la acción extraordinaria de protección
      No. 0132-2010-EP debido a que la demanda no cumplió con los requisitos de
      admisibilidad establecidos en los numerales 1 al 6 del artículo 62 de la
      Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional
      (LOGJCC). Específicamente, la Sala de Admisión determinó que la
      providencia impugnada, dictada por el Juzgado Segundo de Tránsito de Los
      Ríos el 31 de julio de 2009, no ameritaba un análisis de fondo por parte
      de la Corte Constitucional, ya que implicaría someter a debate
      constitucional aspectos ya tratados en el proceso original.
      Adicionalmente, se observó que la acción fue presentada el 07 de diciembre
      de 2009, lo cual excede el término legal establecido en el Art. 60 de la
      LOGJCC, que fija un plazo para la interposición de este tipo de acciones.
    sentences:
      - >-
        ¿Por qué la Corte Constitucional inadmitió la acción extraordinaria de
        protección No. 0132-2010-EP presentada por Elvia María Guevara Torre y
        otros contra una providencia del Juzgado Segundo de Tránsito de Los
        Ríos?
      - >-
        ¿En qué casos la Corte Constitucional puede conocer una acción
        extraordinaria de protección contra sentencias o autos definitivos en
        Ecuador, según la normativa transitoria?
      - >-
        ¿Cuál fue el argumento central de la acción extraordinaria de protección
        Nro. 2621-18-EP respecto a la supuesta indebida aplicación de normas de
        coactiva por parte de la Sala Penal de la Corte Provincial de Pichincha?
  - source_sentence: >-
      La Sala de Admisión de la Corte Constitucional inadmitió la acción
      extraordinaria de protección interpuesta por el Ec. Guillermo Antonio
      Quezada Terán, representante legal de TRIPLEORO CEM., debido a una serie
      de deficiencias sustanciales y formales identificadas en su petición. En
      primer lugar, la Sala determinó que el accionante no logró justificar la
      relevancia constitucional del conflicto planteado. El fundamento de su
      acción se centró en evidenciar lo que consideraba improcedente y
      equivocado de la sentencia de la Segunda Sala de lo Laboral de la Corte
      Nacional de Justicia, argumentando que se atentaba contra los intereses
      económicos de su representada y del cantón Machala al imponer el pago de
      sumas que, a su juicio, no correspondían legal ni justamente. Este tipo de
      argumentación, centrada en la legalidad y los intereses económicos, no es
      el objeto principal de la acción extraordinaria de protección, la cual
      está diseñada para salvaguardar derechos constitucionales y el debido
      proceso, no para reexaminar la correcta aplicación de leyes ordinarias o
      la valoración de pruebas desde una perspectiva económica. Adicionalmente,
      la Sala constató una falta de precisión en la identificación del acto
      materia de impugnación. Si bien la demanda inicialmente se dirigía contra
      la sentencia de 30 de noviembre de 2009, emitida dentro del recurso de
      casación No. 128-2009, en la sección de pretensiones se solicitaba la
      nulidad de todo lo actuado desde la sentencia dictada por el Juez Primero
      Ocasional del Trabajo de El Oro, dentro del juicio laboral No. 16-2006.
      Esta imprecisión genera incertidumbre sobre el alcance de la impugnación y
      el acto específico que supuestamente vulneró derechos constitucionales,
      dificultando el análisis de procedibilidad.
    sentences:
      - >-
        ¿Cuál fue el motivo principal por el cual la Sala de Admisión de la
        Corte Constitucional inadmitió a trámite la acción extraordinaria de
        protección N° 0377-19-EP, presentada por el Ministerio de Educación?
      - >-
        What specific procedural and substantive deficiencies led the
        Constitutional Court's Sala de Admisión to inadmit the extraordinary
        protection action filed by Ec. Guillermo Antonio Quezada Terán,
        representing TRIPLEORO CEM., against the National Court of Justice's
        labor ruling?
      - >-
        ¿Cuál fue la razón principal por la que la Sala de Admisión de la Corte
        Constitucional inadmitió a trámite la acción extraordinaria de
        protección No. 0230-10-EP presentada por Juan Edmundo Castillo Salas?
datasets:
  - wilfredomartel/small-spanish-legal-dataset
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
model-index:
  - name: ModernBERT-base Legal Spanish
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 768
          type: dim_768
        metrics:
          - type: cosine_accuracy@1
            value: 0.8029045643153527
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.8867812685240071
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.9051570835803201
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.920569057498518
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.8029045643153527
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.29559375617466904
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.18103141671606401
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.0920569057498518
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.8029045643153527
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.8867812685240071
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.9051570835803201
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.920569057498518
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.8660575117831015
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.8481314863428087
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.8500023561364144
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 512
          type: dim_512
        metrics:
          - type: cosine_accuracy@1
            value: 0.7934202726733847
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.8814463544754001
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.9013040901007706
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.9143449911084766
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.7934202726733847
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.2938154514918
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.1802608180201541
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.09143449911084765
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.7934202726733847
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.8814463544754001
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.9013040901007706
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.9143449911084766
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.8591904054240045
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.8409115928529092
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.8431333094238386
            name: Cosine Map@100

ModernBERT-base Legal Spanish

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base on the small-spanish-legal-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: answerdotai/ModernBERT-base
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- small-spanish-legal-dataset
Language: es
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/ModernBERT-base-es-legal-v2")
# Run inference
queries = [
    "La Sala de Admisi\u00f3n de la Corte Constitucional inadmiti\u00f3 la acci\u00f3n extraordinaria de protecci\u00f3n interpuesta por el Ec. Guillermo Antonio Quezada Ter\u00e1n, representante legal de TRIPLEORO CEM., debido a una serie de deficiencias sustanciales y formales identificadas en su petici\u00f3n. En primer lugar, la Sala determin\u00f3 que el accionante no logr\u00f3 justificar la relevancia constitucional del conflicto planteado. El fundamento de su acci\u00f3n se centr\u00f3 en evidenciar lo que consideraba improcedente y equivocado de la sentencia de la Segunda Sala de lo Laboral de la Corte Nacional de Justicia, argumentando que se atentaba contra los intereses econ\u00f3micos de su representada y del cant\u00f3n Machala al imponer el pago de sumas que, a su juicio, no correspond\u00edan legal ni justamente. Este tipo de argumentaci\u00f3n, centrada en la legalidad y los intereses econ\u00f3micos, no es el objeto principal de la acci\u00f3n extraordinaria de protecci\u00f3n, la cual est\u00e1 dise\u00f1ada para salvaguardar derechos constitucionales y el debido proceso, no para reexaminar la correcta aplicaci\u00f3n de leyes ordinarias o la valoraci\u00f3n de pruebas desde una perspectiva econ\u00f3mica. Adicionalmente, la Sala constat\u00f3 una falta de precisi\u00f3n en la identificaci\u00f3n del acto materia de impugnaci\u00f3n. Si bien la demanda inicialmente se dirig\u00eda contra la sentencia de 30 de noviembre de 2009, emitida dentro del recurso de casaci\u00f3n No. 128-2009, en la secci\u00f3n de pretensiones se solicitaba la nulidad de todo lo actuado desde la sentencia dictada por el Juez Primero Ocasional del Trabajo de El Oro, dentro del juicio laboral No. 16-2006. Esta imprecisi\u00f3n genera incertidumbre sobre el alcance de la impugnaci\u00f3n y el acto espec\u00edfico que supuestamente vulner\u00f3 derechos constitucionales, dificultando el an\u00e1lisis de procedibilidad.",
]
documents = [
    "What specific procedural and substantive deficiencies led the Constitutional Court's Sala de Admisión to inadmit the extraordinary protection action filed by Ec. Guillermo Antonio Quezada Terán, representing TRIPLEORO CEM., against the National Court of Justice's labor ruling?",
    '¿Cuál fue el motivo principal por el cual la Sala de Admisión de la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección N° 0377-19-EP, presentada por el Ministerio de Educación?',
    '¿Cuál fue la razón principal por la que la Sala de Admisión de la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección No. 0230-10-EP presentada por Juan Edmundo Castillo Salas?',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5859, 0.2254, 0.4079]])

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator with these parameters:
```
{
    "truncate_dim": 768
}
```

Metric	Value
cosine_accuracy@1	0.8029
cosine_accuracy@3	0.8868
cosine_accuracy@5	0.9052
cosine_accuracy@10	0.9206
cosine_precision@1	0.8029
cosine_precision@3	0.2956
cosine_precision@5	0.181
cosine_precision@10	0.0921
cosine_recall@1	0.8029
cosine_recall@3	0.8868
cosine_recall@5	0.9052
cosine_recall@10	0.9206
cosine_ndcg@10	0.8661
cosine_mrr@10	0.8481
cosine_map@100	0.85

Information Retrieval

Dataset: dim_512
Evaluated with InformationRetrievalEvaluator with these parameters:
```
{
    "truncate_dim": 512
}
```

Metric	Value
cosine_accuracy@1	0.7934
cosine_accuracy@3	0.8814
cosine_accuracy@5	0.9013
cosine_accuracy@10	0.9143
cosine_precision@1	0.7934
cosine_precision@3	0.2938
cosine_precision@5	0.1803
cosine_precision@10	0.0914
cosine_recall@1	0.7934
cosine_recall@3	0.8814
cosine_recall@5	0.9013
cosine_recall@10	0.9143
cosine_ndcg@10	0.8592
cosine_mrr@10	0.8409
cosine_map@100	0.8431

Training Details

Training Dataset

small-spanish-legal-dataset

Dataset: small-spanish-legal-dataset at f7d3e93
Size: 7,872 training samples
Columns: pos and query
Approximate statistics based on the first 1000 samples:
pos query
type string string
details
min: 100 tokens
mean: 276.89 tokens
max: 563 tokens

min: 35 tokens
mean: 65.86 tokens
max: 123 tokens

	pos	query
type	string	string
details	min: 100 tokens mean: 276.89 tokens max: 563 tokens	min: 35 tokens mean: 65.86 tokens max: 123 tokens

Samples:

pos	query
Para que la Corte Constitucional admita a trámite una acción extraordinaria de protección, se deben cumplir dos tipos de requisitos esenciales, tanto de forma como de fondo. Formalmente, es imperativo que el recurso se presente contra «sentencias, autos definitivos y resoluciones con fuerza de sentencia» que sean «firmes o ejecutoriados». Este requisito está explícitamente establecido en el artículo 437 de la Constitución de la República, garantizando que la acción se dirige contra decisiones judiciales que han adquirido calidad de cosa juzgada o tienen efectos definitivos. Adicionalmente, el artículo 60 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional fija un término perentorio para la interposición de este tipo de acciones, el cual debe ser estrictamente respetado para asegurar la celeridad y certeza jurídica. Sustantivamente, el núcleo de la admisibilidad radica en que el recurrente debe demostrar de manera fehaciente que, durante el proceso judicial que cul...	`¿Qué requisitos fundamentales, tanto sustantivos como formales, debe cumplir una acción extraordinaria de protección para ser admitida a trámite por la Corte Constitucional, según los principios invocados en el caso 0745-11-EP?`
Tras la declaración de abandono del proceso en el caso N° 3296-18-EP, el actor Manuel Segundo Landázuri Guzmán interpuso un recurso de apelación contra el auto de abandono. Sin embargo, la jueza de la Unidad Judicial Civil negó dicho recurso por improcedente, argumentando que el Código Orgánico General de Procesos (COGEP) no contemplaba la apelación contra autos de abandono. Posteriormente, el actor solicitó la revocatoria del auto que negó la apelación y también interpuso un recurso de hecho. La jueza, aplicando el Art. 252 del COGEP, negó estos recursos por considerarlos improcedentes, al no permitir recursos horizontales y verticales sucesivos en el mismo acto procesal. Finalmente, ante la solicitud de aclaración y ampliación del actor, la jueza la rechazó por extemporánea, y la posterior revocatoria de este último auto también fue negada.	`¿Qué recursos procesales intentó el actor Manuel Segundo Landázuri Guzmán contra el auto de abandono del proceso en el caso N° 3296-18-EP y cómo fueron resueltos por la jueza de la Unidad Judicial Civil?`
La Sala de Admisión de la Corte Constitucional inadmitió la acción extraordinaria de protección N°. 1320-19-EP porque no cumplió con los requisitos de admisibilidad estipulados en el artículo 62, numeral 1 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC). Específicamente, los accionantes no presentaron un argumento claro sobre el derecho supuestamente violado y su relación directa e inmediata, por acción u omisión, con la autoridad judicial. A pesar de las alegaciones sobre vulneraciones a la seguridad jurídica y al debido proceso, en particular respecto al principio de preclusión y la debida motivación, la Sala no apreció un fundamento claro que vinculara de manera precisa estas supuestas violaciones con la conducta de los jueces de la Sala Especializada de lo Contencioso Administrativo de la Corte Nacional de Justicia. Esta deficiencia en la demostración de un nexo causal directo entre la actuación judicial y la afectación de derechos constitucionale...	`¿Por qué la Sala de Admisión de la Corte Constitucional inadmitió la acción extraordinaria de protección N°. 1320-19-EP, presentada contra la sentencia de casación de la Corte Nacional de Justicia del 1 de abril de 2019?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512
    ],
    "matryoshka_weights": [
        1,
        1
    ],
    "n_dims_per_step": -1
}

Evaluation Dataset

small-spanish-legal-dataset

Dataset: small-spanish-legal-dataset at f7d3e93
Size: 3,374 evaluation samples
Columns: pos and query
Approximate statistics based on the first 1000 samples:
pos query
type string string
details
min: 112 tokens
mean: 281.79 tokens
max: 574 tokens

min: 33 tokens
mean: 65.65 tokens
max: 102 tokens

	pos	query
type	string	string
details	min: 112 tokens mean: 281.79 tokens max: 574 tokens	min: 33 tokens mean: 65.65 tokens max: 102 tokens

Samples:

pos	query
La señora Ana Lucía Atzuchi Maza alegó la vulneración de sus derechos constitucionales al debido proceso, seguridad jurídica y al trabajo. En cuanto al debido proceso, argumentó que la decisión judicial impugnada carecía de motivación, al no existir una relación lógica entre las afirmaciones y las conclusiones del fallo, ni una exposición de razones que justificaran la adopción de la decisión. Específicamente, señaló que los jueces resolvieron que ella estaba excluida de la carrera del servicio público sin abordar la vulneración de sus derechos. Respecto a la seguridad jurídica, mencionó que los jueces de segunda instancia no realizaron un análisis sobre la vulneración de derechos y que la sentencia contradecía jurisprudencia vinculante de la Corte Constitucional. Finalmente, en lo referente al derecho al trabajo, indicó que se vulneró su derecho y cualquier proyecto de vida que legítimamente aspiró, citando sentencias constitucionales relevantes.	`¿Qué derechos constitucionales alegó la señora Ana Lucía Atzuchi Maza que fueron vulnerados por la sentencia de la Corte Provincial de Morona Santiago en el caso Nro. 2615-19-EP?`
La Corte Constitucional inadmitió a trámite la acción extraordinaria de protección Nro. 0875-09-EP, presentada por Guillermo Antonio Quezada Terán, debido a que la demanda carecía de la debida argumentación sobre los derechos constitucionales supuestamente vulnerados y no justificaba la relevancia constitucional del conflicto planteado. El fundamento principal de la acción se centraba en demostrar la improcedencia y el error de la sentencia, argumentando que se atentaba contra los intereses económicos de su representada y del pueblo de Machala al imponerles el pago de valores que no les correspondían, lo cual es un planteamiento de legalidad cuya dilucidación no compete a la Corte Constitucional. Adicionalmente, la demanda presentaba imprecisiones en la identificación del acto impugnado, al referirse inicialmente a una sentencia de la Corte Nacional de Justicia y luego solicitar la nulidad de actuaciones previas dictadas por un Juez de Trabajo de El Oro, contraviniendo así lo estipulad...	`¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección Nro. 0875-09-EP presentada por Guillermo Antonio Quezada Terán?`
La Corte Constitucional inadmitió la acción extraordinaria de protección Nro. 3314-18-EP debido a que el accionante incurrió en una causal de inadmisión establecida en el numeral 4 del artículo 62 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional. Dicha causal estipula que el fundamento de la acción no debe sustentar en la falta de aplicación o errónea aplicación de la ley. En este caso, el Director Zonal 8 del Servicio de Rentas Internas alegó que la decisión de inadmitir su recurso de casación por parte de la Corte Nacional de Justicia evidenciaba una violación a lo establecido en varios artículos del Código Orgánico General de Procesos y del Código Tributario. Al basar su acción en la supuesta inobservancia y aplicación errónea de normativa legal, el accionante activó directamente la causal de inadmisión mencionada.	`¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió la acción extraordinaria de protección Nro. 3314-18-EP interpuesta por el Director Zonal 8 del Servicio de Rentas Internas contra la sentencia del 15 de noviembre de 2018?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512
    ],
    "matryoshka_weights": [
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
gradient_accumulation_steps: 16
learning_rate: 2e-05
num_train_epochs: 4
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: True
tf32: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 4
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	dim_768_cosine_ndcg@10	dim_512_cosine_ndcg@10
0.1626	5	5.4118	-	-	-
0.3252	10	5.2432	-	-	-
0.4878	15	4.5594	-	-	-
0.6504	20	3.6389	-	-	-
0.8130	25	2.2793	-	-	-
0.9756	30	0.9517	-	-	-
1.0	31	-	0.4620	0.7458	0.7418
1.1301	35	0.4207	-	-	-
1.2927	40	0.3242	-	-	-
1.4553	45	0.2801	-	-	-
1.6179	50	0.2165	-	-	-
1.7805	55	0.1861	-	-	-
1.9431	60	0.2367	-	-	-
2.0	62	-	0.1881	0.8546	0.8505
2.0976	65	0.1397	-	-	-
2.2602	70	0.0985	-	-	-
2.4228	75	0.1205	-	-	-
2.5854	80	0.1072	-	-	-
2.7480	85	0.0748	-	-	-
2.9106	90	0.0822	-	-	-
3.0	93	-	0.1519	0.8638	0.8604
3.0650	95	0.0999	-	-	-
3.2276	100	0.063	-	-	-
3.3902	105	0.0707	-	-	-
3.5528	110	0.0717	-	-	-
3.7154	115	0.0769	-	-	-
3.8780	120	0.053	-	-	-
4.0	124	-	0.1342	0.8661	0.8592

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.11.13
Sentence Transformers: 5.1.0
Transformers: 4.55.2
PyTorch: 2.6.0+cu124
Accelerate: 1.10.0
Datasets: 4.0.0
Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}