Ë
|
oñúh * ã ó2 d Z ddlmZmZ ddlZddlZddlZddlZddl Z ddl
|
m Z m Z ddl mZ e j j# d« Ze j j' d« Zd Zed « Zee j j/ d d
|
d g« e j j/ d g d ¢« d « « « Zd Zd Ze j j/ ddi e ddgi« fdddi e ddgi« fdddgi e dddgi« fd dgd d e ddgi« fd dgd d e dej6 dgi« fg« d « Z d! Z e j j/ d"g d#¢« d$ « Z e j j/ d%d d g« d& « Z d' Z e j j/ d g d(¢« d) « Z!e j j/ d g d*¢« d+ « Z"d, Z#d- Z$e j j' d.« e j j/ d/d0d1g« d2 « « Z%y)3zZ
|
Tests encoding functionality during parsing
|
for all of the parsers defined in parsers.py
|
é )ÚBytesIOÚ TextIOWrapperN)Ú DataFrameÚread_csvz=ignore:Passing a BlockManager to DataFrame:DeprecationWarningÚ pyarrow_skipc ó¸ d}| }t dj |« « }|j |d|¬« }t ddggddg¬ « }t j
|
||« y )
|
NÚcp1255u ש×××:1234
|
562:123ú:)ÚsepÚencodingi2 é{ u ש×××Ú1234©Úcolumns©r Úencoder r ÚtmÚassert_frame_equal)Ú all_parsersr ÚparserÚdataÚresultÚexpecteds úWH:\Change_password\venv_build\Lib\site-packages\pandas/tests/io/parser/test_encoding.pyÚtest_bytes_io_inputr s] ØHØ Fä Ð+×2Ñ2°8Ó<Ó =DØ __T s°X_Ó >Fä3 * °
|
¸FÐ/CÔDHÜ×Ñ& (Õ+ó c ó¬ | }t dj « « }|j |ddd ¬« }t ddgg« }t j
|
||« y )Nu Åaski, Jan;1ú;úutf-8)r r Úheaderu Åaski, Jané r )r r r r r s r Útest_read_csv_unicoder" ( sT à FÜ Ð&×-Ñ-Ó/Ó 0Dà __T s°WÀT_Ó JFÜÐ,¨aÐ0Ð1Ó2HÜ×Ñ& (Õ+r r ú,ú r )úutf-16zutf-16lezutf-16bec ó8 | }dj d|« }dt j « d}|dd}d}t j |« 5 }|j |« }t |d« 5 } | j |« d d d « t t |j |« « |¬ « 5 }
|
|j |fd
|
|i|¤} |j |
|
fd
|
|i|¤} d d d « t j « d d d « y # 1 sw Y xY w# 1 sw Y 4xY w# 1 sw Y y xY w) Nz)skip this
|
skip this too
|
A,B,C
|
1,2,3
|
4,5,6r# Ú__z__.csvé )r Úskiprowsr Úwb©r r ) ÚreplaceÚuuidÚuuid4r Ú ensure_cleanr ÚopenÚwriter r r r ) r r r r r ÚpathÚkwargsÚutf8Ú
|
bytes_dataÚfÚ bytes_bufferr r s r Útest_utf16_bom_skiprowsr8 2 s' ð
|
Fð ÷
|
Ø Só
|
ð ð
|
|
~VÐ $DØ aÑ (FØ Dä Ó ð 0 $Ø[[ Ó*
|
ä $Ó ð Ø GGJÔ ÷ ô 7 4§;¡;¨tÓ#4Ó5ÀÔ Eð NÈ Ø$V__ TÑG°HÐGÀÑGFØ&v |ÑM¸dÐMÀfÑMH÷ Nô × Ñ f hÔ/÷ 0ð 0÷ ð ú÷ Nð Nú÷ 0ð 0ús< Á DÁ'C8Á9-DÂ&+Dà DÃ8D Ã=DÄD Ä DÄDc ó t j j |d« }| }|j |dd¬« }t |« dk( sJ y )Nz utf16_ex.txtr% r$ )r r é2 )Úosr2 Újoinr Úlen)r Ú csv_dir_pathr2 r r s r Útest_utf16_exampler? O sA Ü 77<< nÓ 5DØ FØ __T¨H¸$_Ó ?FÜ v;"Ò Ð Ñ r c ó´ t j j |d« }| }|j |d d¬« }|j d« }|d d }d}||k( sJ y )Núunicode_series.csvúlatin-1)r r r r! i` u$ à köldum klaka (Cold Fever) (1994))r; r2 r< r Ú set_index)r r> r2 r r Úgotr s r Útest_unicode_encodingrE V s^ Ü 77<< Ð&:Ó ;DØ Fà __T¨$¸_Ó CFØ × Ñ aÓ FØ
|
)D/Cà9HØ (?Ð?r zdata,kwargs,expectedza
|
1Úar! z"a"
|
1Ú quotecharú"zb
|
1ÚnamesÚbÚ1ú
|
1T)rI Úskip_blank_linesFc óú | }dd fd}|j dk( r-|dk( r(|j dd« rt j d¬ « |j ||« fd
|
i|¤}t j ||« y ) Nu r c óB | z j « }t |« S )N)r r )Ú_dataÚbom_dataÚbomr4 s r Ú_encode_data_with_bomz,test_utf8_bom.<locals>._encode_data_with_bom{ s" ø Ø%K×'Ñ'¨Ó-ÜxÓ Ð r ÚpyarrowrL rM Tz,https://github.com/apache/arrow/issues/38676)Úreasonr )ÚengineÚgetÚpytestÚskipr r r )
|
r r r3 r Úrequestr rS r rR r4 s
|
@@r Ú test_utf8_bomr[ b s| ù ð* FØ
|
CØ Dõ!ð
|
Ò"Ø EMØ JJÐ)¨4Ô 0ô ÐIÕJà V__Ñ 2°4Ó 8Ñ RÀ4Ð RÈ6Ñ RFÜ×Ñ& (Õ+r c óÐ t dgdgd« }| }|j |« }dj |« }|j t |« |¬« }t j ||« y )Ng333333@Útest)Úmb_numÚ multibytezmb_num,multibyte
|
4.8,testr+ )r Úformatr r r r r )r Ú utf_valueÚ encoding_fmtr r r r r s r Útest_read_csv_utf_aliasesrc s` ä S E¸¸ÑAÓBHØ Fà×"Ñ" 9Ó-HØ '× .Ñ .¨xÓ 8Dà __W T]°X_Ó >FÜ×Ñ& (Õ+r zfile_path,encoding)))Úior Úcsvz test1.csvr ))rd r r rA rB ))rd r r zsauron.SHIFT_JIS.csvÚshiftjisc óR | } || }|j ||¬« }t ||¬« 5 }|j |« }|j rJ d d d « t j |« t |d¬« 5 } |j | |¬« }| j rJ d d d « t j ||« t |dd¬« 5 } |j | |¬« }| j rJ d d d « t j ||« y # 1 sw Y ½xY w# 1 sw Y {xY w# 1 sw Y 8xY w)Nr+ Úrb)Úmoder )ri Ú buffering)r r0 Úclosedr r )
|
r Ú file_pathr Údatapathr Úfpathr Úfar Úfbs
|
r Ú test_binary_mode_file_buffersrq s ð Fá iÐ EØu¨xÓ8Hä ehÔ 'ð ¨2Ø Ó$Ø99Ð }9÷ ô ×Ñ( FÔ+ä e$Ô ð 2Ø ¨h Ó7Ø99Ð }9÷ ô ×Ñ( FÔ+ä e$¨!Ô ,ð °Ø ¨h Ó7Ø99Ð }9÷ ô ×Ñ( FÕ+÷ ð ú÷
|
ð ú÷
|
ð ús# ¨ DÁ4"DÃ"D ÄDÄDÄ D&Ú pass_encodingc ó | }|j |« }|j dk( r |du r|dv rt j d« t ddgi« }t j d|d¬« 5 }|j d « |j d
|
« |j ||r|nd ¬ « }t j ||« d d d « y # 1 sw Y y xY w) NrT T)é é zThese cases freezeÚfooÚbarzw+)ri r Úreturn_filelikezfoo
|
barr r+ ) r` rV rX rY r r r/ r1 Úseekr r ) r ra rb rr r r r r6 r s r Útest_encoding_temp_filerz · s¶ ð FØ×"Ñ" 9Ó-Hà }} Ò! m°tÑ&;À ÈXÑ@Uä Ð(Ô)ä% % Ð)Ó*Hä d¨XÀtÔ Lð 0ÐPQØ
|
ÔØ q à ¹ ©XÈD ÓQÜ
|
× Ñ f hÔ/÷ 0÷ 0ñ 0ús Á&AB?Â?Cc ó^ | }d}d}d}t ||gi« }t j « 5 }|j | d| j |« « |j d« |j ||¬« }t j ||« |j rJ d d d « y # 1 sw Y y xY w)Nz shift-jisu ã¦ãã¨u ããú
|
r r+ )
|
r ÚtempfileÚNamedTemporaryFiler1 r ry r r r rk )r r r Útitler r r6 r s r Ú test_encoding_named_temp_filer Ë s¦ à FØHà EØ Dä% $ Ó)Hä × $Ñ $Ó &ð ¨!Ø 5'D6Ð"×)Ñ)¨(Ó3Ô4à q à ¨X Ó6Ü
|
× Ñ f hÔ/Ø88Ð|8÷ ÷ ñ ús «A.B#Â#B,)r r% z utf-16-bez utf-16-lezutf-32c ó´ d}t |j | « « }t |d| ¬« }t ddgddgdd ggd
|
d g¬ « }t j
|
||« y ) Nu a b
|
ï¼foo 0
|
bar 1
|
baz 2r$ )Ú delimiterr u ï¼foor rw r! Úbazr( rF rJ )r r r )r r Ú encoded_datar r s r Ú%test_parse_encoded_special_charactersr
ß sc ð -DÜ4;; xÓ0Ó1LÜ l¨d¸XÔ FFäØme QZ¨%°¨Ð 4Øc
|
ôHô ×Ñ& (Õ+r )r Nr% r rB c ó¾ | }t g d¢g d¢g d¢d« }t j « 5 }|j |d|¬« |j dk( rDd}t j t |¬ « 5 |j ||d
|
¬ « d d d « d d d « y |j ||d
|
¬ « }d d d « t j |« y # 1 sw Y FxY w# 1 sw Y ,xY w) N)ÚRaphaelÚ Donatelloz Miguel AngelÚLeonardo)ÚredÚpurpleÚorangeÚblue)Úsaizbo staffÚnunchunkÚkatana)ÚnameÚmaskÚweaponF)Úindexr rT úBThe 'memory_map' option is not supported with the 'pyarrow' engine©ÚmatchT)r Ú
|
memory_map)
|
r r r/ Úto_csvrV rX ÚraisesÚ
|
ValueErrorr r )r r r r ÚfileÚmsgÚdfs r Útest_encoding_memory_mapr ð sÛ ð FÜâHÚ7Ú?ñ
|
óHô
|
Ó ð GdØ E°HÔ=à ==IÒ %ØVCÜ z°Ô5ñ JØ ¨xÀDÔI÷ Jà ÷ Gð Gð __T¨HÀ_Ó F÷ Gô ×Ñ"hÕ'÷ Jð Jú÷ Gð Gús* ¬ACÁ-C CÂCÃC à CÃC c óÖ | }t dgdz ¬« }d|j d< t j d« 5 }|j |ddd¬ « |j
|
d
|
k( rDd }t j t |¬ « 5 |j |d d¬« d d d « d d d « y |j |d d¬« }d d d « t j |« y # 1 sw Y FxY w# 1 sw Y ,xY w)zO
|
Chunk splits a multibyte character with memory_map=True
|
|
GH 43540
|
Úaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaai )r u aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaÄ
iÿ zbug-gh43540.csvFr ©r r r rT r r NT)r r ) r Úilocr r/ r rV rX r r r r )r r r Úfnamer Údfrs r Ú test_chunk_splits_multibyte_charr¦ sæ ð Fä dÑ*Ô +Bð %BGGDMÜ Ð*Ó +ð C¨uØ
|
%u¨U¸W ÔEà ==IÒ %ØVCÜ z°Ô5ñ EØ ¨d¸tÔD÷ Eà ÷ Cð Cð ooe¨D¸ToÓB÷ Cô ×Ñ#rÕ"÷ Eð Eú÷ Cð Cús* ·AC Á9C C  C ÃC ÃC à C(c óê g }d}d}d}t t |« t |« |« D ]] }dj t ||dz « D cg c] }t |« c}« dz } |j d« |j |« _ | }t |« } t j d« 5 }
|
| j |
|
ddd¬ « |j d
|
k( rEd } t j t | ¬ « 5 |j |
|
d dd¬« d d d « d d d « y |j |
|
d dd¬« } d d d « t j | « y c c}w # t
|
$ r Y 1w xY w# 1 sw Y \xY w# 1 sw Y AxY w)zg
|
GH 43787
|
|
Test correct handling of UTF-8 chars when memory_map=True and encoding is UTF-8
|
é ú u ðÚ r| r z utf8test.csvFr¢ rT r r NT)r r r )ÚrangeÚordr< Úchrr ÚUnicodeEncodeErrorÚappendr r r/ r rV rX r r r r ) r ÚlinesÚ line_lengthÚ
|
start_charÚend_charÚlnumÚcÚliner r r¤ r r¥ s r Útest_readcsv_memmap_utf8r· " sq ð EØKØJØHô c*o¤s¨8£}°kÓBò Øww¬¨d°D¸4±KÓ(@ÖA 1AÒAÓBÀTÑIð Ø KKÔ ð TÕð ð FÜ 5Ó BÜ Ó (ð U¨EØ
|
%u¨U¸W ÔEà ==IÒ %ØVCÜ z°Ô5ñ WØ ¨d¸tÈgÔV÷ Wà ÷ Uð Uð ooe¨D¸TÈGoÓT÷ Uô ×Ñ"cÕ"ùò% Bøô "ò Ú ð ú÷ Wð Wú÷ Uð UúsC ÁE
|
Á$E Â*AE)Ã,E Ä E)ÄE)Å EÅEÅ E& Å"E)Å)E2Ú pyarrow_xfailri zw+bzw+tc ó | }d}d|v rd}t j |d¬« 5 }|j |« |j d« |j |« }d d d « t g dg¬« }t j |« y # 1 sw Y .xY w)Ns abcdÚtÚabcdr )ri r r r )r} ÚSpooledTemporaryFiler1 ry r r r r )r ri r ÚcontentÚhandler r s r Útest_not_readabler¿ D s ð FØGØ
|
d{ØÜ × &Ñ &¨D¸7Ô Cð %ÀvØ WÔ Ø AØ __VÓ $÷%ô f XÔ.HÜ×Ñ"hÕ'÷ %ð %ús ¢4BÂB )&Ú__doc__rd r r r; r} r- ÚnumpyÚnprX Úpandasr r Úpandas._testingÚ_testingr ÚmarkÚfilterwarningsÚ
|
pytestmarkÚ usefixturesÚ skip_pyarrowr r" Ú parametrizer8 r? rE Únanr[ rc rq rz r r
r r¦ r· r¿ © r r ú<module>rÎ s ðñ÷ó
|
Û Û ã Û ÷õ à [[× 'Ñ 'ØCó
|
ð {{×&Ñ& ~Ó6 ò,ð ñ,ó ð,ð Ø×Ñ d Ó,Ø×ÑÒ%GÓHñ0ó Ió -ó ð0ò4 ò ð ×ÑØð
|
Y a SzÓ*Ð+à K Ð%¡y°#¸°s°Ó'<Ð=à 'C5Ð!¡9¨c°C¸°:Ð->Ó#?Ð@à 3%°TÑ:¹IÀsÈQÈCÀjÓ<QÐRð Øe°Ñ 7Ù sRVV QKÐ(Ó )ð
|
ðóñ&,ó'ð&,ò, ,ð ×ÑØòóñ,óð,ð0 ×Ñ ¨4°¨-Ó8ñ0ó 9ð0ò& ð( ×ÑØÒGóñ ,óð ,ð ×ÑÒ%SÓTñ(ó Uð(ò.#ò4 #ðD ×Ñ Ó)Ø×Ñ %¨ Ó0ñ (ó 1ó *ñ (r
|
