Update app.py

app.py

@@ -125,7 +125,7 @@ def load_csv_files(directory_path: str = "./Maquettes-formation"):
     #    print(f"- {file}")
     return json_files
 
-def load_and_preprocess_csv(state: AgentState, file: str = "") -> AgentState:
+def load_and_preprocess_csv(state: AgentState, file: str = "", num_bcc: str = "") -> AgentState:
     """
     Charge le fichier CSV actuel et prétraite les données.
 
@@ -162,25 +162,83 @@ def load_and_preprocess_csv(state: AgentState, file: str = "") -> AgentState:
 
             print(f"Prétraitement réussi. {len(df)} lignes traitées.")
 
-            # Retourner l'état mis à jour avec le dataframe prétraité
-            return {
-                **state,
-                "dataframe": df,
-                "status": "preprocessed"
-            }
-
     except Exception as e:
         print(f"Erreur lors du chargement/prétraitement du fichier: {e}")
         # Passer au fichier suivant en cas d'erreur
-        if len(state['files_list']) > 0:
-            return {
-                **state,
-                "current_file": file,
-                "files_list": file,
-                "status": "error"
-            }
-        else:
-            return {**state, "status": "finished"}
+    
+    unique_teachings = df['enseignements'].dropna().unique().tolist()
+
+    # Préparer le message pour le LLM
+    messages = [
+        SystemMessage(content=f"""Tu es un expert en sciences de l'éducation, spécialiste dans la catégorisation thématique de contenus pédagogiques, chargé de classifier des enseignements académiques, de créer des situations d'apprentissage puis de formuler de compétences académiques.
+        
+        Tu es en capacité de comprendre et de traiter des processus pédagogiques complexes, en passant OBLIGATOIREMENT par les 4 tâches suivantes:
+        
+        1. Dans ta première tâche, tu dois créer EXACTEMENT {num_bcc} catégories thématiques distinctes qui représentent au mieux les enseignements listés. Pour chaque catégorie, fournis un nom précis et représentatif de 20 mots minimum.
+        2. Ta deuxième tâche est de classer chaque enseignement dans l'une des {num_bcc} catégories créées dans la première tâche.
+        Chaque enseignement doit être classé dans UNE SEULE catégorie la plus pertinente.
+        Assure-toi que TOUS les enseignements sont classés et qu'aucun n'est oublié.
+        
+        3. Ta troisième tâche est de créer UNE situation d'apprentissage pour chaque catégorie, en intégrant les enseignements classés dans cette catégorie.
+        Pour chaque situation d'apprentissage :
+        - tu t'appuies sur la définition d'une situation d'apprentissage qui est un scénario pédagogique contextualisé qui place l'apprenant face à un défi concret nécessitant la mobilisation de savoirs, savoir-faire et savoir-être. Elle s'articule autour d'une problématique réelle, favorise l'interdisciplinarité et vise le développement de compétences transversales.
+        - tu appliques la méthode cohérente et détaillée qui : Intègre l'ensemble des enseignements de la catégorie fournie. Soit adaptée au niveau d'études supérieures. Comprenne un contexte, des objectifs, des activités et des modalités d'évaluation. Soit rédigée en 150-250 mots.
+        - Assure-toi qu'une situation d'apprentissage soit créée pour chaque catégorie et qu'aucune ne soit oubliée.
+        Tu Réponds en français avec un texte continu, bien structuré, sans titre ni puces.
+        
+        4. Ta quatrième tâche est de formuler UNE compétence académique pour chaque catégorie, en lien avec la situation d'apprentissage créée.
+        Pour chaque compétence académique :
+        - tu t'appuies sur la définition d'une compétence académique qui est une capacité avérée à mobiliser des ressources (savoirs, savoir-faire, savoir-être) dans une famille de situations complexes, pour résoudre des problèmes ou réaliser des tâches. Elle est formulée avec un verbe d'action, un objet, un contexte et un niveau de performance attendu. Elle s'inscrit dans une taxonomie (comme celle de Bloom) et peut être évaluée à travers des indicateurs observables.
+        - tu prends comme exemple les formulations suivantes : "Analyser des problèmes complexes en mobilisant des approches multidisciplinaires pour proposer des solutions innovantes", "Concevoir et mettre en œuvre des projets de recherche en respectant les normes éthiques et méthodologiques du domaine", "Interpréter des données scientifiques pour prendre des décisions éclairées dans un contexte d'incertitude".
+        - tu utilises les niveaux taxonomiques de Bloom appropriés au niveau d'étude : Licence 1-2 (se concentrer sur "se rappeler", "comprendre", "appliquer"), Licence 3/BUT (privilégier "appliquer", "analyser"), Master (privilégier "analyser", "évaluer", "créer").
+        - tu appliques la méthode cohérente et détaillée qui : Synthétise l'ensemble des enseignements de la catégorie fournie. S'articule avec la situation d'apprentissage associée. Soit précise, mesurable et pertinente pour le domaine d'études. Comporte entre 15 et 25 mots.
+        - tu réponds avec une seule phrase complète, sans préambule ni explications.
+        - Assure-toi qu'une compétence académique soit formulée pour chaque catégorie et qu'aucune ne soit oubliée.
+        
+        Réponds UNIQUEMENT au format JSON avec la structure suivante:
+        [
+            {{
+                "catégorie": "Nom de la catégorie 1",
+                "situation": "Texte de la situation d'apprentissage associée à la catégorie 1 (150-250 mots)",
+                "compétence": "Texte de la compétence académique associée à la catégorie 1 (15-25 mots)"
+            }},
+            ...
+        ]
+        """),
+        HumanMessage(content=f"Voici la liste des enseignements à catégoriser: {json.dumps(unique_teachings, ensure_ascii=False)}")
+    ]
+
+    try:
+        # Obtenir la réponse du LLM
+        response = llm.invoke(messages)
+
+        # Extraire le JSON de la réponse
+        content = response.content
+
+        # Nettoyer la réponse si nécessaire (enlever les ```json et ```)
+        if "```json" in content:
+            content = content.split("```json")[1].split("```")[0].strip()
+        elif "```" in content:
+            content = content.split("```")[1].split("```")[0].strip()
+
+        # Parser le JSON
+        categories = json.loads(content)
+        print(categories)
+        print("Catégories thématiques créées avec succès:")
+        for idx, cat in enumerate(categories, 1):
+            print(f"{idx}. {cat['nom']} - {cat['description'][:50]}...")
+
+        # Mettre à jour l'état avec les catégories générées
+        return {
+            **state,
+            "dataframe": df,
+            "categories": categories,
+            "status": "categories_created"
+        }
+
+    except Exception as e:
+        print(f"Erreur lors de la création des catégories: {e}")
+        return {**state, "status": "error"}
         
 def create_thematic_categories(state: AgentState, num_bcc: str = "") -> AgentState:
     f"""
@@ -591,9 +649,9 @@ def build_workflow(num_bcc,file,pathname) -> StateGraph:
     workflow = StateGraph(AgentState)
 
     # Définir les nœuds du graphe
-    workflow.add_node("load_and_preprocess", lambda state: load_and_preprocess_csv(state, file))
-    workflow.add_node("create_categories", lambda state: create_thematic_categories(state, num_bcc))
-    workflow.add_node("classify_teachings", lambda state: classify_teachings(state, num_bcc))
+    workflow.add_node("load_and_preprocess", lambda state: load_and_preprocess_csv(state, file, num_bcc))
+    #workflow.add_node("create_categories", lambda state: create_thematic_categories(state, num_bcc))
+    #workflow.add_node("classify_teachings", lambda state: classify_teachings(state, num_bcc))
     
     #workflow.add_node("create_learning_situations", lambda state: create_learning_situations(state, pathname))
     
@@ -605,8 +663,8 @@ def build_workflow(num_bcc,file,pathname) -> StateGraph:
     #workflow.add_node("process_next_file", get_next_file)
 
     # Définir les transitions
-    workflow.add_edge("load_and_preprocess", "create_categories")
-    workflow.add_edge("create_categories", "classify_teachings")
+    #workflow.add_edge("load_and_preprocess", "create_categories")
+    #workflow.add_edge("create_categories", "classify_teachings")
     
     #workflow.add_edge("classify_teachings", "create_learning_situations")
     #workflow.add_edge("create_learning_situations", "create_academic_competencies")
@@ -664,18 +722,6 @@ def init_agent_state(current_url, num, pathname) -> AgentState:
             for task, taskInfo in s.items():
                 for key in taskInfo:
                     if task == "load_and_preprocess":
-                        if key == "current_file":
-                            result += f"Traitement du fichier {taskInfo['current_file']} en cours...\n"
-                    if task == "classify_teachings":
-                        if key == "dataframe":
-                            df = taskInfo['dataframe']
-                        if key == "status":
-                            for key, value in taskInfo['classified_teachings'].items():
-                                result += f"\n\n-**Enseignement classé dans la catégorie '{key}'** : "
-                                for enseignement in value:
-                                    result += f"{enseignement}, "
-                            result += f"\n\nTraitement de la tâche : {taskInfo['status']}...\n"
-                    if task == "create_categories":
                         if key == "dataframe":
                             df = taskInfo['dataframe']
                         if key == "status":
@@ -683,28 +729,8 @@ def init_agent_state(current_url, num, pathname) -> AgentState:
                                 result += f"\n\n-**Enseignement classé dans la catégorie '{key}'** : "
                                 for enseignement in value:
                                     result += f"{enseignement}, "
-                            result += f"\n\nTraitement de la tâche : {taskInfo['status']}...\n"
-                    #if task == "create_learning_situations":
-                    #    if key == "status":
-                    #        if taskInfo['learning_situations'].items():
-                    #            for key, value in taskInfo['learning_situations'].items():
-                    #                result += f"\n\n-**Situation d'apprentissage créée pour la catégorie '{key}'** : {value}\n"
-                    #            result += f"\n\nTraitement de la tâche : {taskInfo['status']}...\n"
-                    #        else:
-                    #            result += f"\n\nTraitement de la tâche : pas de situations d'apprentissage créées\n"
-                    #if task == "create_academic_competencies":
-                    #    if key == "dataframe":
-                    #        df = taskInfo['dataframe']
-                    #    if key == "status":
-                    #        if taskInfo['academic_competencies'].items():
-                    #            for key, value in taskInfo['academic_competencies'].items():
-                    #                result += f"\n\n-**Compétence académique créée pour la catégorie '{key}'** : {value}\n"                           
-                    #            result += f"\n\nTraitement de la tâche : {taskInfo['status']}...\n"
-                    #        else:
-                    #            result += f"\n\nTraitement de la tâche : pas de BCC créés\n"
-                    #if task == "export_to_excel_2":
-                    #    if key == "status":
-                    #        result += f"\n\nTraitement de la tâche : {taskInfo['status']}...\n"
+                        if key == "current_file":
+                            result += f"Traitement du fichier {taskInfo['current_file']} en cours...\n"
 
     except Exception as e:
         print(f"Erreur lors de l'exécution du workflow: {e}")