B ,(b M@sddlmZddlZddlmZddddd d d d d ddddddddddddddddddd d!d"d#d$d%d&d'd(d)d*d+d,d-d.d/d0d1d2d3d4d5d6d7d8d9d:d;dd?d@dAdBdCdDdEdFdGdHdIdJdKdLdMdNdOdPdQgMZdRdSZdTdUZeeiZdS)V)unicode_literalsN)LIKE_NUMueníuoókànu ọ̀kanláuẹ́ẹdọ́gbọ̀nu àádọ́fàuẹ̀walélúɡbauegbèjeu ẹgbàárinuèjìueéjìuèjìláu ọgbọ̀n,u ọgọ́fàuọ̀ọ́dúrúnuẹgbẹ̀jọuẹ̀ẹ́dẹ́ɡbàárùnuẹ̀tau ẹẹ́tau ẹ̀taláuaárùndílogójìu àádójeuirinwóuẹgbẹ̀sànu ẹgbàárùnuẹ̀rinu ẹẹ́rinu ẹ̀rinláuogójìuogójeuẹ̀ẹ́dẹ́gbẹ̀tau ẹgbàáu ẹgbàájọuàrúnuaárùnuẹ́ẹdógúnu àádọ́tauàádọ́jọu ẹgbẹ̀tauẹgboókànláu ẹgbàawǎuẹ̀fàu ẹẹ́fàuẹẹ́rìndílógúnu ọgọ́tau ọgọ́jọuọ̀ọ́dẹ́gbẹ̀rinuẹgbẹ́ẹdógúnuọkẹ́marunuèjeuetàdílógúnu àádọ́rinuàádọ́sánu ẹgbẹ̀rinu ẹgbàajìuẹgbẹ̀ẹgbẹ̀rúnu ẹ̀jọu ẹẹ́jọueéjìdílógúnu ọgọ́rinu ọgọsànuẹ̀ẹ́dẹ́gbẹ̀rúnuẹgbẹ́ẹdọ́gbọ̀nuọgọ́rùn ọkẹ́u ẹ̀sánu ẹẹ́sànuoókàndílógúnuàádọ́rùnuẹ̀wadilúɡbauẹgbẹ̀rúnu ẹgbàátauẹ̀wáu ẹẹ́wàáuogúnu ọgọ́rùnZigbau ẹgbẹ̀fàuẹ̀ẹ́dẹ́ɡbarincCsdddtd|DS)z Converts the string to NFD, separates & returns only the base characters :param text: :return: input string without diacritic adornments on base characters css |]}t|dkr|VqdS)ZMnN) unicodedatacategory).0cr F/home/dcms/DCMS/lib/python3.7/site-packages/spacy/lang/yo/lex_attrs.py asz%strip_accents_text..ZNFD)joinr normalize)textr r r strip_accents_textZsrcsdddddddddd d d g}tfd d |DrBdStddtD}rddS|ksx|kr|dSdS)N,r.udíudọuléudínZdiZdinleZdoc3s|]}|kVqdS)Nr )rmark)rr r r hszlike_num..TcSsg|] }t|qSr )r)rnumr r r kszlike_num..F)replaceanyr _num_wordsisdigitlower)rZ num_markersZ_num_words_strippedr )rr like_numesr) __future__rrattrsrrrrZ LEX_ATTRSr r r r s