In der neuesten Entwicklung in der Welt der KI-gestützten Datenverarbeitung hat Datalab das lift Modell vorgestellt, ein visionäres 9B-Punkte-Modell, das für die strukturierte Datenextraktion konzipiert wurde. Dieses Modell ist nicht nur in der Lage, JSON-Schemata zu interpretieren, sondern extrahiert auch automatisch strukturierte JSON-Daten aus komplexen PDF-Dokumenten und Bildern. Mit einem beeindruckenden Score von 90,2 % bei der Feldgenauigkeit über ein Benchmark-Datensatz von 225 Dokumenten, revolutioniert lift die Art und Weise, wie Unternehmen und Einzelpersonen mit dokumentenbasierten Informationen umgehen.
Was ist Datalab lift?
lift ist ein 9B-Parameter-Modell, das entwickelt wurde, um Dokumente und Bilder zu analysieren und strukturierte Daten in Form von JSON zurückzugeben. Im Gegensatz zu anderen Modellen kann lift mehrseitige Dokumente in einem einzigen Durchgang verarbeiten, wodurch es besonders effizient wird.
Hauptmerkmale von lift
- Schema-Konforme Dekodierung: Das Herzstück von lift ist die Fähigkeit, seine Ausgaben direkt gegen das bereitgestellte Schema zu dekodieren. Dies stellt sicher, dass die ausgegebenen Daten immer gültiges JSON sind, das die erwartete Struktur aufweist.
- Abstention by Default: Anstatt fehlende Informationen zu erfinden, gibt lift bewusst null zurück, wenn ein Feld nicht vorhanden ist. Dies reduziert die Wahrscheinlichkeit von Fehlern in der Datenverarbeitung.
- Benchmark-Leistung: In Tests erzielte lift eine außergewöhnliche Geschwindigkeit von 9,5 Sekunden pro Dokument, was es zu einem der schnellsten Modelle seiner Klasse macht.
Schema-konforme Dekodierung: Das Kernprinzip
Die vom lift-Modell verwendete Technik der schema-konformen Dekodierung ist entscheidend für seine Genauigkeit. Der Dekodierungsprozess geschieht folgendermaßen:
- Ein JSON-Schema wird in ein Pydantic-Modell umgewandelt und in ein strenges JSON-Schema normalisiert.
- Während des Generierungsprozesses wird das Schema in eine Grammatik umgewandelt, die definiert, welche Tokens gültige Fortsetzungen sind.
- Tokens, die das Schema verletzen würden, werden ausgeblendet, was gewährleistet, dass die Ausgabe immer der korrekten Form entspricht.
Diese Methodik macht lift besonders robust, obwohl sie einige Einschränkungen hat, insbesondere bei komplexeren Schema-Strukturen wie z.B. enum oder $ref. Es wird empfohlen, sich an die unterstützten Typen zu halten, um die beste Leistung zu gewährleisten.
Nutzung und Implementierung
Die Implementierung von lift ist denkbar einfach, sowohl über eine CLI als auch über eine Python-API. Hier ist ein einfaches Beispiel zur Verwendung des Modells: python from lift import extract
schema = { “type”: “object”, “properties”: { “invoice_number”: {“type”: “string”, “description”: “Invoice identifier”}, “total”: {“type”: “number”, “description”: “Total amount due”}, “line_items”: { “type”: “array”, “items”: { “type”: “object”, “properties”: { “description”: {“type”: “string”}, “amount”: {“type”: “number”} } } } }, “required”: [“invoice_number”, “total”] }
result = extract(“invoice.pdf”, schema) if result.extraction is not None: data = result.extraction # dict matching the schema
Mit lift können Sie reibungslos zwischen verschiedenen Anwendungsfällen wechseln – von der Rechnungsverarbeitung bis hin zur Vertragsprüfung.
Fazit
Datalabs lift-Modell markiert einen bedeutenden Fortschritt in der Dokumentenverarbeitung. Mit seiner Fähigkeit zur strukturisierten Datenausgabe, schnellen Verarbeitungszeiten und robusten Fehlerhandhabung ist es ein wertvolles Werkzeug für Unternehmen und Entwickler. Das Modell fördert nicht nur die Effizienz, sondern auch die Genauigkeit, indem es dafür sorgt, dass nicht existierende Felder als null zurückgegeben werden, anstatt fehlerhafte Werte zu generieren. Wenn Sie mehr über lift erfahren möchten und wie es Ihnen helfen kann, Ihre Arbeitsabläufe zu optimieren, besuchen Sie die offiziellen Datalab-Ressourcen.
Quelle: MarkTechPost
