B
    ,(b
              M   @   s   d dl mZ d dlZddlmZ ddddd	d
dddddddddddddddddddddd d!d"d#d$d%d&d'd(d)d*d+d,d-d.d/d0d1d2d3d4d5d6d7d8d9d:d;d<d=d>d?d@dAdBdCdDdEdFdGdHdIdJdKdLdMdNdOdPdQgMZdRdS ZdTdU ZeeiZdS )V    )unicode_literalsN   )LIKE_NUMu   eníu   oókànu   ọ̀kanláu   ẹ́ẹdọ́gbọ̀nu   àádọ́fàu   ẹ̀walélúɡbau   egbèjeu   ẹgbàárinu   èjìu   eéjìu   èjìláu   ọgbọ̀n,u   ọgọ́fàu   ọ̀ọ́dúrúnu   ẹgbẹ̀jọu   ẹ̀ẹ́dẹ́ɡbàárùnu   ẹ̀tau
   ẹẹ́tau
   ẹ̀taláu   aárùndílogójìu	   àádójeu   irinwóu   ẹgbẹ̀sànu   ẹgbàárùnu   ẹ̀rinu   ẹẹ́rinu   ẹ̀rinláu   ogójìu   ogójeu   ẹ̀ẹ́dẹ́gbẹ̀tau	   ẹgbàáu   ẹgbàájọu   àrúnu   aárùnu   ẹ́ẹdógúnu   àádọ́tau   àádọ́jọu   ẹgbẹ̀tau   ẹgboókànláu   ẹgbàawǎu   ẹ̀fàu   ẹẹ́fàu   ẹẹ́rìndílógúnu   ọgọ́tau   ọgọ́jọu   ọ̀ọ́dẹ́gbẹ̀rinu   ẹgbẹ́ẹdógúnu   ọkẹ́marunu   èjeu   etàdílógúnu   àádọ́rinu   àádọ́sánu   ẹgbẹ̀rinu   ẹgbàajìu   ẹgbẹ̀ẹgbẹ̀rúnu	   ẹ̀jọu   ẹẹ́jọu   eéjìdílógúnu   ọgọ́rinu   ọgọsànu   ẹ̀ẹ́dẹ́gbẹ̀rúnu   ẹgbẹ́ẹdọ́gbọ̀nu   ọgọ́rùn ọkẹ́u	   ẹ̀sánu   ẹẹ́sànu   oókàndílógúnu   àádọ́rùnu   ẹ̀wadilúɡbau   ẹgbẹ̀rúnu   ẹgbàátau   ẹ̀wáu   ẹẹ́wàáu   ogúnu   ọgọ́rùnZigbau   ẹgbẹ̀fàu   ẹ̀ẹ́dẹ́ɡbarinc             C   s   d dd td| D S )z
    Converts the string to NFD, separates & returns only the base characters
    :param text:
    :return: input string without diacritic adornments on base characters
     c             s   s    | ]}t |d kr|V  qdS )ZMnN)unicodedatacategory).0c r
   F/home/dcms/DCMS/lib/python3.7/site-packages/spacy/lang/yo/lex_attrs.py	<genexpr>a   s    z%strip_accents_text.<locals>.<genexpr>ZNFD)joinr   	normalize)textr
   r
   r   strip_accents_textZ   s    r   c                s     dd dd dddddd	d
dg}t fdd|D rBdS t  dd tD }  rddS  |ksx  |kr|dS dS )N,r   .u   díu   dọu   léu   dínZdiZdinleZdoc             3   s   | ]}| kV  qd S )Nr
   )r   mark)r   r
   r   r   h   s    zlike_num.<locals>.<genexpr>Tc             S   s   g | ]}t |qS r
   )r   )r   numr
   r
   r   
<listcomp>k   s    zlike_num.<locals>.<listcomp>F)replaceanyr   
_num_wordsisdigitlower)r   Znum_markersZ_num_words_strippedr
   )r   r   like_nume   s    r   )	
__future__r   r   attrsr   r   r   r   Z	LEX_ATTRSr
   r
   r
   r   <module>   s   