KI-PPT-Generierung geht über das "Ein-Klick-Erstellen" hinaus: Tsinghua-Universität, Shanghai Jiao Tong Universität und Beijing University of Posts and Telecommunications schlagen MemSlides vor, damit der Slides Agent lernen kann, sich zu erinnern

KI-gestützte PPT-Erstellung ist längst keine reine Demonstrationsfunktion mehr.

Heutzutage können viele Systeme vollständige Folien aus einem wissenschaftlichen Aufsatz, einem Bericht oder einer thematischen Beschreibung generieren. Das Problem besteht darin, dass die tatsächliche Erstellung von Inhalten selten bei der ersten Version stehenbleibt. Nutzer passen weiterhin die Seitenreihenfolge, die Inhaltsdichte, den visuellen Stil und lokale Elemente an; noch problematischer ist, dass einige Präferenzen nicht von Anfang an vollständig ausgesprochen werden, sondern sich erst im Zuge nachfolgender Überarbeitungen allmählich herauskristallisieren.

Dies führt zu einem konkreteren Problem: Slides Agent muss nicht nur den aktuellen Prompt verstehen, sondern auch wissen, welche Präferenzen zu den langfristigen Gewohnheiten des Nutzers gehören, welche Einschränkungen nur für die aktuelle Aufgabe gelten und welche Inhalte nicht beeinträchtigt werden dürfen, wenn der Nutzer die Änderung eines bestimmten Bereichs verlangt. Für KI-PPT ist das Gedächtnis nicht mehr nur ein Anhängsel von Chat-Protokollen, sondern eine grundlegende Fähigkeit, die darüber entscheidet, ob die mehrstufige Zusammenarbeit stabil ablaufen kann.

Um dieses Problem zu lösen, haben die Universität für Post- und Telekommunikation Peking, die Tsinghua-Universität und die Shanghai Jiao Tong University gemeinsam MemSlides vorgeschlagen – ein hierarchisches, gedächtnisgesteuertes Agenten-Framework für die personalisierte Folien-Erstellung und mehrstufige lokale Überarbeitungen. Es betrachtet die PPT-Erstellung als einen zustandsbehafteten kontinuierlichen Bearbeitungsprozess: Zuerst wird mithilfe des Nutzerprofil-Gedächtnisses ein personalisierter Erstentwurf erstellt, dann wird in mehreren Feedback-Runden das Arbeitsgedächtnis gepflegt, und schließlich wird die Zuverlässigkeit von lokalen Überarbeitungen durch das Werkzeuggedächtnis verbessert.

Link zum Papier: https://arxiv.org/pdf/2606.17162

GitHub-Adresse: https://github.com/huohua325/Memslides

Projektwebsite: https://memslides.github.io/

Die wissenschaftliche Bedeutung von MemSlides liegt darin, dass es die KI-PPT-Erstellung nicht einfach als einmalige Source-to-Slides-Umwandlung betrachtet, sondern die „kontinuierliche Überarbeitung nach der Generierung“ in das Systemdesign einbezieht. Mit anderen Worten: Das Papier konzentriert sich nicht darauf, das Modell dazu zu bringen, mehr historische Dialoge zu merken, sondern darauf, dass der Slides Agent lernt, verschiedene Arten von Gedächtnis zu unterscheiden, zu pflegen und abzurufen.

Wie gestaltet MemSlides sein Gedächtniskonzept?

Die Methode von MemSlides lässt sich in zwei Hauptlinien zusammenfassen: Die eine ist wie das Gedächtnis organisiert wird, die andere ist wie Überarbeitungen ausgeführt werden. Erstere beantwortet die Frage „Was soll das System merken?“, Letztere die Frage „Wie soll das System die Bearbeitung abschließen, ohne vorhandene Inhalte zu zerstören?“.

Abbildung | MemSlides kombiniert Langzeitgedächtnis und Arbeitsgedächtnis für personalisierte Generierung und mehrstufige lokale Überarbeitungen.

Bei der Gedächtnisorganisation modelliert MemSlides aus zwei Perspektiven: der Lebenszyklusperspektive und der Funktionsrollenperspektive. Im Lebenszyklus speichert das Langzeitgedächtnis Informationen, die aufgabenübergreifend stabil bestehen, während das Arbeitsgedächtnis temporäre Einschränkungen, Feedback-Zustände und Überarbeitungsfortschritte pflegt, die im aktuellen Foliensatz noch gültig sind. In Bezug auf die Funktionsrollen konzentriert sich das Nutzerprofil-Gedächtnis darauf, welche Präferenzen die Folien widerspiegeln sollen, während sich das Werkzeuggedächtnis darauf konzentriert, wie der Agent Bearbeitungen stabiler durchführen kann.

Diese Unterscheidung ist entscheidend. Das Nutzerprofil-Gedächtnis ist kein festes Profil, das vor dem Prompt angeheftet wird, sondern wird nach der Aufgabenabsicht abgerufen, gefiltert und weitergeleitet. Beispielsweise kann derselbe Nutzer bei wissenschaftlichen Präsentationen und kommerziellen Pitchs völlig unterschiedliche Seitenstrukturen bevorzugen; das System muss die relevanten Präferenzen basierend auf der aktuellen Absicht auswählen und sie mit der aktuellen Anfrage abstimmen. Wenn die aktuelle Anfrage mit den langfristigen Präferenzen kollidiert, hat die aktuelle Anfrage in diesem Foliensatz Vorrang.

Abbildung | Das Nutzerprofil-Gedächtnis durchläuft Abruf, Weiterleitung, Nutzung für die aktuelle Aufgabe und die Ablagerung stabiler Signale nach Abschluss der Aufgabe.

Nach Abschluss der Aufgabe schreibt MemSlides nicht alle Rückmeldungen direkt in das Langzeitgedächtnis. Das Papier verfolgt den Ansatz der Konsolidierung, bei dem nur stabile und übertragbare Interaktionssignale in das Nutzerprofil aktualisiert werden. Dies vermeidet ein häufiges Problem: Anforderungen, die der Nutzer in einer bestimmten Aufgabe vorübergehend gestellt hat, werden vom System fälschlicherweise als langfristige Präferenz behandelt und tauchen in nachfolgenden Aufgaben immer wieder auf.

Das Arbeitsgedächtnis hingegen behandelt eine andere Art von Problemen: Einige Einschränkungen gehören nicht zu den langfristigen Präferenzen, müssen aber in der aktuellen Sitzung rundenübergreifend fortgeführt werden. Wenn der Nutzer beispielsweise sagt: „Die Titel aller später neu hinzugefügten Seiten sollen blau sein“, hat diese Anweisung in der aktuellen Runde möglicherweise kein direktes Ausführungsobjekt, sie soll aber auch noch in mehreren Runden wirksam werden, wenn neue Folien hinzugefügt werden. MemSlides speichert diese aktiven temporären Präferenzen, fortzuführenden Anweisungen, bearbeiteten Ziele und Abdeckungsstatus im Arbeitsgedächtnis, sodass mehrstufige Überarbeitungen zu einer kontinuierlichen Bearbeitung auf demselben Aufgabenstatus werden.

Abbildung | Das Arbeitsgedächtnis ist für die Speicherung temporärer Präferenzen und Überarbeitungsstatus verantwortlich, die im aktuellen Foliensatz noch gültig sind.

Im Gegensatz zum Präferenzgedächtnis zeichnet das Werkzeuggedächtnis Ausführungserfahrungen auf. Die Bearbeitung von Folien umfasst normalerweise Seitenstrukturen, Selektoren, Stilregeln, Layout-Snapshots und Werkzeugaufrufe; selbst wenn das Modell weiß, was der Nutzer möchte, kann es zu Fehlern kommen, weil Bereiche falsch gelesen, der Überarbeitungsumfang ausgeweitet oder die Überprüfung vorzeitig beendet wird. Daher teilt MemSlides die Werkzeugausführungserfahrungen in zwei Ebenen auf: Aufgabenniveau und Aktionsebene. Ersteres speichert Fehlerzusammenfassungen und übertragbare Erfahrungen aus einer Überarbeitungsrunde, Letzteres speichert feingranulare Reasoning-Tool-Observation-Fragmente, die vor ähnlichen Werkzeugaufrufen als Referenz dienen.

Abbildung | Das Werkzeuggedächtnis bestimmt nicht die Präferenzrichtung der Folien, sondern hilft dem Agenten, wiederholte Fehlversuche im Bearbeitungsprozess zu reduzieren.

Bei lokalen Überarbeitungen führt MemSlides das Konzept der scoped slide-local revision ein. Das System liest oder überschreibt nicht nach jeder Rückmeldung den gesamten PPT-Satz neu, sondern ordnet zuerst die natürlichsprachliche Anfrage dem kleinsten gültigen Überarbeitungsbereich zu und führt dann den Bearbeitungsvorgang über den Plan-Act-Guard-Prozess ab. In der Plan-Phase wird ein Execution Contract erstellt, der Zielseiten, Wirkungsbereich und Abdeckungsanforderungen klärt; in der Act-Phase werden eingeschränkte Bearbeitungsoperationen basierend auf der Seitenstruktur ausgeführt; in der Guard-Phase wird überprüft, ob das Ziel korrekt abgedeckt ist, und eine vorzeitige Finalisierung wird vermieden.

Abbildung | Plan-Act-Guard unterteilt lokale Überarbeitungen in drei Phasen: Bereichsplanung, kontrollierte Ausführung und Ergebnisprüfung.

Der Ausgangspunkt dieses Designs ist einfach: Wenn der Nutzer nur einen lokalen Bereich überarbeiten möchte, soll das System möglichst nur diesen Bereich verändern. Für bereits abgestimmte Seiteninhalte ist die Beibehaltung der Stabilität selbst eine Fähigkeit.

Wie sind die Ergebnisse bei Personalisierung und lokalen Überarbeitungen?

Das Papier bewertet MemSlides aus drei Perspektiven: Generierung personalisierter Erstentwürfe, Fortführung von Präferenzen innerhalb einer Sitzung und Zuverlässigkeit lokaler Überarbeitungen.

Bei der personalisierten Generierung wurde im Papier eine Bewertungsumgebung für Nutzerprofile mit mehreren Personas und mehreren Absichten aufgebaut, und mit persona-alignment judgments wurde gemessen, ob die Generierungsergebnisse der Nutzerrolle und der Aufgabenabsicht entsprechen. Die Ergebnisse zeigen, dass das Nutzerprofil-Gedächtnis die Persona-Ausrichtung in der anfänglichen Generierungsphase (Round-0) verbessern kann. Weitere Analysen belegen, dass diese Verbesserung nicht nur durch Template-Matching oder visuelle Aufbereitung entsteht, sondern sich in Dimensionen näher an der Planungsebene widerspiegelt: inhaltliche Schwerpunkte, Seitenstruktur, Organisation von Belegen und Unterscheidung der Rollen.

Hinsichtlich der allgemeinen PPT-Qualität wurde im Papier zudem eine DeepPresenter-ähnliche Qualitätsprüfung durchgeführt, um zu beobachten, ob die Verbesserung der Persona-Ausrichtung auf Kosten der allgemeinen Generierungsqualität geht. Die Ergebnisse zeigen, dass MemSlides bei der Verstärkung der personalisierten Ausrichtung nach wie vor eine wettbewerbsfähige Gesamtqualität des Foliensatzes beibehält. Dies ist für die praktische Anwendung wichtig: Personalisierung sollte nicht nur „wie eine bestimmte Person“ wirken, sondern auch einen grundsätzlich nutzbaren, strukturell vollständigen Foliensatz erzeugen.

In Bezug auf das Arbeitsgedächtnis zeigt das Papier anhand qualitativer Fallbeispiele die verzögerte Fortführung von Präferenzen (delayed preference carryover). Das bedeutet: Einige Nutzerpräferenzen sind zum Zeitpunkt ihrer Äußerung möglicherweise nicht sofort ausführbar, aber wenn nachfolgende Operationen relevante Bedingungen auslösen, kann das System sie dennoch auf den aktuellen Foliensatz anwenden. Diese Fähigkeit macht deutlich, dass das Arbeitsgedächtnis für die Pflege des Sitzungszustands verantwortlich ist und kein einfacher Ersatz für das langfristige Nutzerprofil ist.

Für die Experimente zu lokalen Überarbeitungen wurde ein diagnostisches matched-pair modify setting verwendet, um die Variable „Einspeisung des Werkzeuggedächtnisses“ zu isolieren. Die Ergebnisse zeigen, dass in dieser diagnostischen Umgebung das Werkzeuggedächtnis die Closed-Loop-Vervollständigung von 0,815 auf 0,963 steigerte, die strenge Verifikation von 0,310 auf 0,534 anhob und die Zeit für die erste korrekte Bearbeitung von 609,5s auf 242,5s senkte. Diese Kennzahlen betrachten nicht nur „ob die Änderung am Ende korrekt war“, sondern konzentrieren sich zudem auf den Überarbeitungszyklus, die Strenge der Verifikation und die Effizienz bei der Suche nach dem richtigen Bearbeitungspfad.

Abbildung | Bei einem Beispiel für lokale Überarbeitung ändert MemSlides die Zielelemente konzentrierter und reduziert Veränderungen in nicht betroffenen Bereichen.

Zu beachten ist, dass das Papier die Ergebnisse nicht als in allen S