B
    .(äbñ  ã            	   @   sð   d dl mZ d dlZddddddd	d
gfddddddgfdddddddgfgZddddddgfgZddd d!d"d#d$gfd%d&d'dd(d)dgfd*d+d,d-d.dgfd/d0d1d2d3dgfgZej d4e¡d5d6„ ƒZej d4e¡d7d8„ ƒZ	ej d4e¡d9d:„ ƒZ
dS );é    )Úunicode_literalsNu'   HyvÃ¤Ã¤ uutta vuotta t. siht. NiemelÃ¤!u   HyvÃ¤Ã¤ZuuttaZvuottazt.zsiht.u   NiemelÃ¤ú!zPaino on n. 2.2 kgZPainoÚonzn.z2.2Zkgz Vuonna 1 eaa. tapahtui kauheita.ZVuonnaÚ1zeaa.ZtapahtuiZkauheitaÚ.uK   1700-luvulle sijoittuva taide-elokuva Wikimedia-sÃ¤Ã¤tiÃ¶n Varsinais-Suomenz1700-luvulleZ
sijoittuvaztaide-elokuvau   Wikimedia-sÃ¤Ã¤tiÃ¶nzVarsinais-Suomenz-VTT:ssa ennen v:ta 2010 suoritetut mittauksetzVTT:ssaZennenzv:taZ2010Z
suoritetutZ
mittauksetzALV:n osuus on 24 %.zALV:nZosuusZ24ú%u   HiihtÃ¤jÃ¤ oli kilpailun 14:s.u
   HiihtÃ¤jÃ¤ZoliZ	kilpailunz14:szEU:n toimesta tehtiin jotain.zEU:nZtoimestaZtehtiinZjotainztext,expected_tokensc             C   s&   | |ƒ}dd„ |D ƒ}||ks"t ‚d S )Nc             S   s   g | ]}|j s|j‘qS © )Úis_spaceÚtext)Ú.0Útokenr   r   úQ/home/dcms/DCMS/lib/python3.7/site-packages/spacy/tests/lang/fi/test_tokenizer.pyú
<listcomp>.   s    z3test_fi_tokenizer_abbreviations.<locals>.<listcomp>)ÚAssertionError)Úfi_tokenizerr
   Úexpected_tokensÚtokensÚ
token_listr   r   r   Útest_fi_tokenizer_abbreviations+   s    r   c             C   s&   | |ƒ}dd„ |D ƒ}||ks"t ‚d S )Nc             S   s   g | ]}|j s|j‘qS r   )r	   r
   )r   r   r   r   r   r   5   s    z6test_fi_tokenizer_hyphenated_words.<locals>.<listcomp>)r   )r   r
   r   r   r   r   r   r   Ú"test_fi_tokenizer_hyphenated_words2   s    r   c             C   s&   | |ƒ}dd„ |D ƒ}||ks"t ‚d S )Nc             S   s   g | ]}|j s|j‘qS r   )r	   r
   )r   r   r   r   r   r   <   s    z>test_fi_tokenizer_abbreviation_inflections.<locals>.<listcomp>)r   )r   r
   r   r   r   r   r   r   Ú*test_fi_tokenizer_abbreviation_inflections9   s    r   )Ú
__future__r   ZpytestZABBREVIATION_TESTSZHYPHENATED_TESTSZABBREVIATION_INFLECTION_TESTSÚmarkZparametrizer   r   r   r   r   r   r   Ú<module>   s(   
