Description
Norne is a Named Entity Recognition (or NER) model of Danish, meaning it annotates text to find features like the names of people, places, and organizations. This NER model does not read words directly but instead reads word embeddings, which represent words as points such that more semantically similar words are closer together. Dane NER 6B 100 is trained with GloVe 6B 100 word embeddings, so be sure to use the same embeddings in the pipeline.
Predicted Entities
Persons-PER, Locations-LOC, Organizations-ORG, Miscellaneous-MISC.
Live Demo Open in Colab Download Copy S3 URI
How to use
...
embeddings = WordEmbeddingsModel.pretrained('glove_100d') \
.setInputCols(['document', 'token']) \
.setOutputCol('embeddings')
ner_model = NerDLModel.pretrained("dane_ner_6B_100", "da") \
.setInputCols(["document", "token", "embeddings"]) \
.setOutputCol("ner")
...
nlp_pipeline = Pipeline(stages=[document_assembler, sentence_detector, tokenizer, embeddings, ner_model, ner_converter])
pipeline_model = nlp_pipeline.fit(spark.createDataFrame([['']]).toDF('text'))
result = pipeline_model.transform(spark.createDataFrame([["William Henry Gates III (født 28. oktober 1955) er en amerikansk forretningsmagnat, softwareudvikler, investor og filantrop. Han er bedst kendt som medstifter af Microsoft Corporation. I løbet af sin karriere hos Microsoft havde Gates stillinger som formand, administrerende direktør (administrerende direktør), præsident og chefsoftwarearkitekt, samtidig med at han var den største individuelle aktionær indtil maj 2014. Han er en af \u200b\u200bde mest kendte iværksættere og pionerer inden for mikrocomputerrevolution i 1970'erne og 1980'erne. Født og opvokset i Seattle, Washington, var Gates grundlægger af Microsoft sammen med barndomsvennen Paul Allen i 1975 i Albuquerque, New Mexico; det fortsatte med at blive verdens største virksomhed inden for personlig computersoftware. Gates førte virksomheden som formand og administrerende direktør, indtil han trådte tilbage som administrerende direktør i januar 2000, men han forblev formand og blev chefsoftwarearkitekt. I slutningen af \u200b\u200b1990'erne var Gates blevet kritiseret for sin forretningstaktik, der er blevet betragtet som konkurrencebegrænsende. Denne udtalelse er blevet opretholdt ved adskillige retsafgørelser. I juni 2006 meddelte Gates, at han ville overgå til en deltidsrolle i Microsoft og fuldtidsarbejde i Bill & Melinda Gates Foundation, det private velgørende fundament, som han og hans kone, Melinda Gates, oprettede i 2000. [ 9] Han overførte gradvist sine pligter til Ray Ozzie og Craig Mundie. Han trådte tilbage som formand for Microsoft i februar 2014 og tiltrådte en ny stilling som teknologirådgiver for at støtte den nyudnævnte administrerende direktør Satya Nadella."]], ["text"]))
...
val embeddings = WordEmbeddingsModel.pretrained("glove_100d")
.setInputCols(Array("document", "token"))
.setOutputCol("embeddings")
val ner_model = NerDLModel.pretrained("dane_ner_6B_100", "da")
.setInputCols(Array("document", "token", "embeddings"))
.setOutputCol("ner")
...
val pipeline = new Pipeline().setStages(Array(document_assembler, sentence_detector, tokenizer, embeddings, ner_model, ner_converter))
val data = Seq("William Henry Gates III (født 28. oktober 1955) er en amerikansk forretningsmagnat, softwareudvikler, investor og filantrop. Han er bedst kendt som medstifter af Microsoft Corporation. I løbet af sin karriere hos Microsoft havde Gates stillinger som formand, administrerende direktør (administrerende direktør), præsident og chefsoftwarearkitekt, samtidig med at han var den største individuelle aktionær indtil maj 2014. Han er en af de mest kendte iværksættere og pionerer inden for mikrocomputerrevolution i 1970"erne og 1980"erne. Født og opvokset i Seattle, Washington, var Gates grundlægger af Microsoft sammen med barndomsvennen Paul Allen i 1975 i Albuquerque, New Mexico; det fortsatte med at blive verdens største virksomhed inden for personlig computersoftware. Gates førte virksomheden som formand og administrerende direktør, indtil han trådte tilbage som administrerende direktør i januar 2000, men han forblev formand og blev chefsoftwarearkitekt. I slutningen af 1990'erne var Gates blevet kritiseret for sin forretningstaktik, der er blevet betragtet som konkurrencebegrænsende. Denne udtalelse er blevet opretholdt ved adskillige retsafgørelser. I juni 2006 meddelte Gates, at han ville overgå til en deltidsrolle i Microsoft og fuldtidsarbejde i Bill & Melinda Gates Foundation, det private velgørende fundament, som han og hans kone, Melinda Gates, oprettede i 2000. Han overførte gradvist sine pligter til Ray Ozzie og Craig Mundie. Han trådte tilbage som formand for Microsoft i februar 2014 og tiltrådte en ny stilling som teknologirådgiver for at støtte den nyudnævnte administrerende direktør Satya Nadella.").toDF("text")
val result = pipeline.fit(data).transform(data)
import nlu
text = ["""William Henry Gates III (født 28. oktober 1955) er en amerikansk forretningsmagnat, softwareudvikler, investor og filantrop. Han er bedst kendt som medstifter af Microsoft Corporation. I løbet af sin karriere hos Microsoft havde Gates stillinger som formand, administrerende direktør (administrerende direktør), præsident og chefsoftwarearkitekt, samtidig med at han var den største individuelle aktionær indtil maj 2014. Han er en af de mest kendte iværksættere og pionerer inden for mikrocomputerrevolution i 1970'erne og 1980'erne. Født og opvokset i Seattle, Washington, var Gates grundlægger af Microsoft sammen med barndomsvennen Paul Allen i 1975 i Albuquerque, New Mexico; det fortsatte med at blive verdens største virksomhed inden for personlig computersoftware. Gates førte virksomheden som formand og administrerende direktør, indtil han trådte tilbage som administrerende direktør i januar 2000, men han forblev formand og blev chefsoftwarearkitekt. I slutningen af 1990'erne var Gates blevet kritiseret for sin forretningstaktik, der er blevet betragtet som konkurrencebegrænsende. Denne udtalelse er blevet opretholdt ved adskillige retsafgørelser. I juni 2006 meddelte Gates, at han ville overgå til en deltidsrolle i Microsoft og fuldtidsarbejde i Bill & Melinda Gates Foundation, det private velgørende fundament, som han og hans kone, Melinda Gates, oprettede i 2000. Han overførte gradvist sine pligter til Ray Ozzie og Craig Mundie. Han trådte tilbage som formand for Microsoft i februar 2014 og tiltrådte en ny stilling som teknologirådgiver for at støtte den nyudnævnte administrerende direktør Satya Nadella."""]
ner_df = nlu.load('da.ner.6B100D').predict(text, output_level = "chunk")
ner_df[["entities", "entities_confidence"]]
Results
+-------------------------------+---------+
|chunk |ner_label|
+-------------------------------+---------+
|William Henry Gates III |PER |
|amerikansk |MISC |
|Microsoft Corporation |ORG |
|Microsoft |ORG |
|Gates |PER |
|1970'erne |MISC |
|1980'erne |MISC |
|Seattle |LOC |
|Washington |LOC |
|Gates |LOC |
|Microsoft |ORG |
|Paul Allen |PER |
|Albuquerque |LOC |
|New Mexico |LOC |
|1990'erne |MISC |
|Gates |PER |
|Gates |PER |
|Microsoft |ORG |
|Bill & Melinda Gates Foundation|ORG |
|Melinda Gates |PER |
+-------------------------------+---------+
Model Information
| Model Name: | dane_ner_6B_100 |
| Type: | ner |
| Compatibility: | Spark NLP 2.6.0+ |
| Edition: | Official |
| License: | Open Source |
| Input Labels: | [sentence, token, embeddings] |
| Output Labels: | [ner] |
| Language: | da |
| Case sensitive: | false |
Data Source
The detailed information can be found from https://www.aclweb.org/anthology/2020.lrec-1.565.pdf