2026-07-03T04:18:25.424Z https://www.nb.no/sprakbanken/oai

oai:nb.no:sbr-63

Arne Martinus Lindstad 2021-06-22 https://www.nb.no/sprakbanken/oai?verb=GetRecord&identifier=oai:nb.no:sbr-63&metadataPrefix=cmdi clarin.eu:cr1:p_1407745711925 Språkbanken NB Resource https://www.nb.no/sbfil/tekst/2020_doffin_tm.tar.gz Resource https://www.nb.no/sbfil/dok/2020_doffin_tm.pdf describes corpus Translation Memory from Doffin Omsetjingsminne frå Doffin This corpus contains data from Doffin, the Norwegian web-based database for notices of public procurement and procurement in the utility sector, managed by The Norwegian Agency for Public and Financial Management. The Language Bank received the data in the form of an XML database dump. The dump consisted of 41,143 document pairs (original and translation). 40,631 of these were translations from Norwegian to English. Only the latter are included in the corpus. Of the originally Norwegian documents, 39,893 were in Norwegian Bokmål and 736 in Norwegian Nynorsk. Original and translation were first aligned on document level using an internal document identifier, then the sentences were extracted using the NLTK Punkt Sentence Tokenizer and aligned using Hunalign. Duplicate translations (exact duplicates) were discarded. We recorded a total of 293,649 translation units (TUs) for Norwegian Bokmål to English, and 6,342 TUs for Norwegian Nynorsk to English. A TU is a translation pair with an original text and a parallelized translation, and usually corresponds to a more or less meaningful linguistic unit, typically a sentence, a heading etc. A TU may also consist of a single word or several clauses. The translation units for the two languages are distributed as two separate files, both in TMX 1.4 format (a variant of XML). Dette korpuset inneheld data frå Doffin, den nasjonale kunngjeringsbasen for offentlege anskaffingar, forvalta av Direktoratet for Forvaltning og Økonomistyring (DFØ). Språkbanken fekk dataa i from av ein dump av ein XML-database. Dumpen bestod av 41.143 dokumentpar (originalar og omsetjingar). 40.631 av desse var omsetjingar frå norsk til engelsk. Berre desse er inkluderte i korpuset. Av dei opphavleg norske dokumenta er 39.893 på bokmål og 736 på nynorsk. Original og omsetjing vart først parallelliserte på dokumentnivå ved hjelp av ein intern dokumentidentifikator, deretter vart setningane identifiserte med NLTK Punkt Sentence Tokenizer og parallelliserte ved å nytte Hunalign. Dupliserte omsetjingar (eksakte duplikat) vart kasserte. Totalt fann me 293.649 omsetjingseiningar (Translation Units – TU) for bokmål til engelsk, og 6.342 TUar for nynorsk til engelsk. Ein TU er eit omsetjingspar med ei originaltekst og ei parallellstilt omsetjing, og svarar vanlegvis til ei meir eller mindre meiningsberande språkleg eining, typisk ei setning, overskrift eller liknande. Ein TU kan òg bestå ev eit enkeltord eller fleire setningar. Omsetjingseiningane for bokmål og nynorsk vert distribuerte som to separate filer, begge i TMX 1.4-format (ein variant av XML). https://www.nb.no/sprakbanken/ressurskatalog/oai-nb-no-sbr-63/ hdl:21.11146/63 sbr-63 Public downloadable https://www.nb.no/sprakbanken/ressurskatalog/oai-nb-no-sbr-63/ Creative Commons (CC) Creative_Commons-ZERO (CC-ZERO) https://creativecommons.org/publicdomain/zero/1.0/ organization Licensor Norwegian Agency for Public and Financial Management Direktoratet for Forvaltning og Økonomistyring DFØ DFØ Doffin Doffin organization Distribution Rights Holder National Library of Norway Nasjonalbiblioteket NLN NB The Language Bank Språkbanken sprakbanken@nb.no https://www.nb.no/sprakbanken/ P.O. Box 2674 Solli 0203 Oslo Oslo Norway organization Contact National Library of Norway Nasjonalbiblioteket NLN NB The Language Bank Språkbanken sprakbanken@nb.no https://www.nb.no/sprakbanken/ P.O. Box 2674 Solli 0203 Oslo Oslo Norway 2020-12-18 English en 2023-08-07 person Metadata Creator Lindstad Arne Martinus National Library of Norway Nasjonalbiblioteket NLN NB The Language Bank Språkbanken sprakbanken@nb.no https://www.nb.no/sprakbanken/ P.O. Box 2674 Solli 0203 Oslo Oslo Norway 2020 2020-11-04 true formal automatic Sentences extracted using the NLTK Punkt Sentence Tokenizer, aligned using Hunalign. full person Resource Validator Birkenes Mgnus Breder National Library of Norway Nasjonalbiblioteket NLN NB The Language Bank Språkbanken sprakbanken@nb.no https://www.nb.no/sprakbanken/ P.O. Box 2674 Solli 0203 Oslo Oslo Norway documentation https://www.nb.no/sbfil/dok/2020_doffin_tm.pdf 2020-11-04 organization Resource Creator Norwegian Agency for Public and Financial Management Direktoratet for Forvaltning og Økonomistyring DFØ DFØ Doffin Doffin person Resource Creator Birkenes Magnus Breder National Library of Norway Nasjonalbiblioteket NLN NB The Language Bank Språkbanken sprakbanken@nb.no https://www.nb.no/sprakbanken/ P.O. Box 2674 Solli 0203 Oslo Oslo Norway Written Corpus text application/x-tmx+xml 299991 units 2 files UTF-8 multilingual parallel translation memory nb Norwegian Bokmål nn Norwegian Nynorsk en English writtenLanguage 299991 units 2 files alignment sentence automatic person Resource Annotator Birkenes Magnus Breder National Library of Norway Nasjonalbiblioteket NLN NB The Language Bank Språkbanken sprakbanken@nb.no https://www.nb.no/sprakbanken/ P.O. Box 2674 0203 Oslo Oslo Norway