Architektúra systému

Ako GPT Translator premieňa komplexné súbory na spoľahlivé viacjazyčné dokumenty

Náš prekladový systém je navrhnutý ako viacstupňový proces: dokumenty sa analyzujú, chránené termíny sa mapujú, obsah sa prekladá pomocou inteligentného smerovania modelov, výstup sa overuje a finálny súbor sa bezpečne rekonštruuje pre autorizovaný prístup.

Redis

Fronta úloh

10 úloh

Súbežnosť workerov

Naživo

Aktualizácie priebehu

Úložná vrstva

Diagram architektúry prekladu dokumentov GPT Translator

Prekladový pipeline

Štvorfázová architektúra pre kvalitu, škálovateľnosť a kontrolu

Backend oddeľuje ingestiu, preklad, validáciu a rekonštrukciu, aby si každý formát súboru zachoval svoju štruktúru, zatiaľ čo prekladový engine sa zameriava na význam, terminológiu a konzistentnosť.

Predspracovanie

Nahrané súbory sa validujú, analyzujú a konvertujú na štruktúrované jednotky vhodné na preklad ešte pred spustením modelov.

Kontroly typu súboru a MIME odmietnu nepodporované súbory ešte pred zaradením do fronty.
Dokumenty sa extrahujú do textových uzlov, tabuliek, snímok, segmentov alebo štruktúrovaného JSON podľa formátu.
Pojmy zo slovníka a ignorované slová sa mapujú na bezpečné identifikátory, aby názvy značiek, zástupné symboly a chránené frázy zostali zachované.

Inteligentný prekladový engine

Systém smeruje pripravený obsah cez vybrané LLM a cloudové prekladové služby pomocou kontextových promptov.

Backend podporuje služby OpenAI, Claude, Gemini, Grok, Mistral, Google Cloud a AWS.
Obsah sa rozdeľuje podľa limitov tokenov modelov pri zachovaní kontextu, ak je to možné.
Redis-backed Bull workeri spracúvajú prekladové úlohy asynchrónne, aby veľké súbory neblokovali API.

Zabezpečenie kvality

Po preklade sa výstup kontroluje podľa očakávanej štruktúry a opravuje sa, ak je neúplný alebo nesprávny.

Priebeh sa sleduje počas predspracovania, prekladu a postprocesingu.
Neplatný JSON, XML alebo štruktúra dokumentu môže spustiť opravy a opakované pokusy.
História prekladu zaznamenáva stav, počet slov, veľkosť súboru, použitý model a percento spracovania.

Bezpečnosť a rekonštrukcia

Overené preklady sa vracajú do pôvodnej štruktúry dokumentu, ukladajú sa a sprístupňujú iba cez autorizované procesy.

Chránené termíny a mapovania slovníka sa obnovujú pred dokončením súboru.
Preložené dokumenty sa rekonštruujú do cieľového formátu a ukladajú do bezpečného S3 úložiska.
Kontroly prístupu, vlastníctvo používateľa a organizačný kontext zabezpečujú, že výsledky sú dostupné len správnemu účtu.

Prevádzková spoľahlivosť

Navrhnuté pre reálne prekladové zaťaženie

Worker fronty spracúva viac úloh paralelne a dlhé procesy drží mimo životného cyklu požiadavky.

Socketové udalosti priebehu udržiavajú frontend aktuálny počas všetkých fáz.

Cron monitoring sleduje zlyhané a prebiehajúce preklady pre rýchle odhalenie problémov.

Odhady tokenov a aktualizácie využitia sa vykonávajú pred a po preklade na ochranu limitov plánu a poskytnutie odhadov pri zlyhaní.