Microsoft Works-taulukkoarkistojen valmistelu tekoälyä ja RAG-hakua varten

TL;DR

LLM- ja RAG-putket eivät voi indeksoida .wks-, .xlr-, .wpt- tai .wps-tiedostoja suoraan. Muunna vanhat laskentataulukot paikallisesti CSV-, Markdown- ja XLSX-muotoon ennen niiden syöttämistä putkeen. CSV ja Markdown ovat parhaat syötteet upotukseen ja tietojen hakemiseen; XLSX ja PDF tukevat ihmisen tarkistusta siitä, mitä mallille näytetään.

Tekoäly ei voi käyttää sitä, mitä se ei voi lukea

Useimmat hakemiseen ja upottamiseen tarkoitetut putkistot ohittavat hiljaa vanhat taulukkolaskentatiedostojen binäärit. Tulos on yksityinen RAG-järjestelmä, joka vastaa itsevarmasti kysymyksiin vain osasta yrityksen todellista tietämystä—usein ilman, että kukaan huomaa, mitä on jätetty pois.

Arkiston modernisointi on epäkiillotettu mutta välttämätön edellytys: puhtaat, avoimet muodot avaavat laskentataulukkohistorian, jonka vanhat muodot pitivät pimeänä.

Parhaat kohdeformaatit RAG:lle

1. CSV taulukkoupotusta varten

CSV on puhtain taulukkomuotoinen syöte. Jokaisesta rivistä tulee pieni, ennustettava osa; sarakkeista tulee luonnollista metadataa. Yhdistä CSV rivikohtaisen metadatan kanssa indeksissä, jotta voit suodattaa vuoden, yksikön tai lähdetiedoston mukaan.

2. Markdown kertomustabeille

Monissa Microsoft Works tiedostoissa on narratiivisia välilehtiä — oletuksia, muutoslokeja, tiivistelmiä. Markdown on ystävällisempi LLM:n tokenisoinnille kuin HTML tai PDF teksti, joten tiivistysvälilehdet toimivat paremmin lähdeviitteinä muunnoksen jälkeen.

3. XLSX ja PDF ihmisen tarkistettavaksi

Kun tarkastajan täytyy nähdä, mitä mallille näytettiin, XLSX ja PDF ovat ne muodot, joita he odottavat. Pidä ne CSV/Markdown vieressä, jotta malliviitteitä voidaan seurata visuaalisesti.

Pidä keskustelu yksityisenä

Jos arkisto sisältää talous-, asiakas-, työntekijä- tai toimintatietoja, muunnos tulisi tehdä ennen mitä tahansa pilvipohjaista tekoälyvaihetta – ja mieluiten samassa hallitussa ympäristössä, jossa muu RAG-putki sijaitsee.

Ilmaiset verkkomuuntimet ovat väärä riippuvuus yksityisyyttä kunnioittavalle tekoälyjärjestelmälle. Ne tuovat takaisin juuri ne datan sijaintia koskevat kysymykset, jotka yksityinen LLM on suunniteltu poistamaan.

Hakuvinkkejä, joista on hyötyä myöhemmin

Tallenna tiedostokohtaiset metatiedot muunnoksen aikana: lähdepolku, tulospolku, alkuperäinen tiedostopääte, muunnoksen aikaleima sekä kaikki projekti, vuosi tai yksikkö, jotka voidaan päätellä kansiorakenteesta. Työnnä nämä metatiedot vektorivarastoon suodatettavina kenttinä.

Näyte-testin haku muutamia tunnettuja historiallisia kysymyksiä vastaan ennen arkiston julistamista RAG-valmiiksi. Oikea kysymys paljastaa usein välilehtiä tai oletuksia, jotka on otettava mukaan indeksiin.

Lopeta RAG:n rakentaminen osittaiselle arkistolle

Yksityinen LLM on älykäs vain niin pitkälle kuin se näkee lähdemateriaalinsa. Muunna vanha taulukkoarkisto kerran, indeksoi se metatiedoilla ja anna mallin lopulta lukea, mitä yritys todella tietää.