Miks enamik dokumendilugemise tööriistu läheb katki, kui vorming muutub -- ja kuidas seda vältida

Traditsiooniline dokumendilugemise (OCR) tööriist töötab malli põhjal: see õpib ühe kindla dokumendipaigutuse ja seni, kuni dokument näeb täpselt samasugune välja, toimib see hästi. Vahetub vedaja, vahetub riik või uuendab sama vedaja oma vormi -- mall lakkab töötamast ja keegi peab selle käsitsi uuesti seadistama.

CMR-saatelehtedel, SMGS/CIM raudteedokumentidel ja mereveo B/L manifestidel on üks ühine joon: neid väljastavad sajad erinevad riigid, vedajad ja süsteemid, kellest ükski ei ole kohustatud järgima identset visuaalset paigutust. Just seal läheb mallipõhine OCR kõige sagedamini katki.

Teistsugune lähenemine: lugeda tähendust, mitte asukohta

Meie süsteem ei otsi "kaaluvälja kolmandal real, neljandas veerus" -- see loeb dokumenti nii, nagu seda loeks inimene, tuvastades, kes on saatja, kes on saaja, milline on kaal, sõltumata sellest, kuhu lehele see kirjutatud on. See tähendab:

Uus vedaja vorming ei tohi süsteemi katki teha. Ei pea ootama, kuni keegi seadistab käsitsi uue malli iga uue dokumendivariandi jaoks.
Kõik kolm moodulit (CMR, raudtee, meri) jagavad sama aluseks olevat arhitektuuri, mis on kohandatud iga dokumenditüübi eripärale -- ühes kohas tehtud täiustus on kasulik kõigile kolmele.

Süsteemi arhitektuur põhineb semantilisel lugemisel, mitte fikseeritud mallidel -- see tähendab, et see töötab ühtviisi hästi ladina, kirillitsa või hieroglüüfkirjaga, ilma iga keele jaoks eraldi kohandamiseta. Testisime seda realistlike SMGS (vene keel) ja B/L (hiina keel) dokumendinäidetega -- peamised identifikaatorid (saatelehe number, B/L number) eraldati mõlemal juhul täpselt.

Kus süsteem ise tunnistab, et ei tea -- ja miks see on tugevus

Iga väljavõte saab usaldusväärsuse skoori. Kui dokument on ebatavaline, halva kvaliteediga või lihtsalt tavapärasest keerulisem, siis süsteem ei arva ära -- see märgib selle käsitsi ülevaatuseks. See võib kõlada piiranguna, kuid on hoopis vastupidi: see on kaitse vaikse, märkamatu vea eest, mis muidu jõuaks teie aruandesse kui "õige".

Keel ei ole takistus

Kuna süsteem loeb tähendust, mitte asukohta, käsitleb see võrdselt hästi ladina tähestikku, kirillitsat või hieroglüüfkirja ilma iga keele jaoks eraldi seadistamata -- sama moodul töötleb nii ingliskeelset CMR-saatelehte, venekeelset SMGS накладная't kui ka hiinakeelses kirjas B/L-i. Testisime seda realistlike dokumendinäidetega mõlemas kirjas -- peamised identifikaatorid eraldati täpselt ja süsteem hindas õigesti oma usaldusväärsust igal juhul.

Mis säilitatakse auditi jaoks

Iga väljavõetud andmepunkti kohta säilitab süsteem ka algse tekstikatke, millest see pärineb -- mitte ainult lõpptulemust. See tähendab, et saate alati tagasi minna ja kontrollida, kust täpselt konkreetne number või nimi pärineb, mitte lihtsalt usaldada "musta kasti".

B/L eripära -- teadlikult järgitav piir

Mereveo manifestide puhul võtab süsteem andmeid välja ainult sisemiseks kasutamiseks -- see ei kinnita dokumendi õiguslikku kehtivust ega omandiõiguse staatust. See on teadlik piir: andmete väljavõtmine ja dokumendi õiguslik kinnitamine on kaks erinevat asja ning nendevahelise selge piiri hoidmine kaitseb nii teid kui ka meid ekslikult usalduse eest seal, kuhu see ei kuulu.