Ë
|
oñúh¦ ã óî d dl mZ d dlZd dlZd dlZd dlZd dlZd dlZd dl m
|
Z
|
d dl m Z m Z mZmZmZmZmZ d dlmZ d dlmZ ej2 j5 d« Zej8 d « Z ej2 j< ej2 j? dg d ¢« d
|
« « Z d e!d e!d e"fdZ#ej2 j? dddg« d « Z$d Z% ejL d« d « Z'y)é )ÚBytesION)Úpa_version_under17p0)Ú DataFrameÚIndexÚ
|
date_rangeÚread_csvÚ
|
read_excelÚ read_jsonÚ read_parquet)Ú_test_decoratorsz=ignore:Passing a BlockManager to DataFrame:DeprecationWarningc óÖ t j d« t j d« } t « d _ G fdd| j « }| j d|d¬« S ) z"Emulate GCS using a binary buffer.ÚgcsfsÚfsspecc ó y)NT© r ó úKH:\Change_password\venv_build\Lib\site-packages\pandas/tests/io/test_gcs.pyú<lambda>z gcs_buffer.<locals>.<lambda>$ s r c ó( e Zd Ze fd« Zd Zy)ú%gcs_buffer.<locals>.MockGCSFileSystemc ó* j d« S )Nr )Úseek)ÚargsÚkwargsÚ
|
gcs_buffers r Úopenz*gcs_buffer.<locals>.MockGCSFileSystem.open' s ø à OOAÔ Ø Ð r c ó |ddgS )NÚfile)ÚnameÚtyper )ÚselfÚpathr s r Úlsz(gcs_buffer.<locals>.MockGCSFileSystem.ls, s à !¨6Ñ2Ð3Ð 3r N)Ú__name__Ú
|
__module__Ú __qualname__Ú staticmethodr r# )r s r ÚMockGCSFileSystemr & s ø Ø ó ó
|
ð ó 4r r( ÚgsT)Úclobber)ÚpytestÚ importorskipr ÚcloseÚAbstractFileSystemÚregister_implementation)r r( r s @r r r sb ø ô ×ÑÔ Ü × Ñ Ó *FäJÙ#JÔö4F× 5Ñ 5ô 4ð ×"Ñ" 4Ð):ÀDÐ"ÔIà Ðr Úformat)ÚcsvÚjsonÚparquetÚexcelÚmarkdownc óÎ t ddgdt j gddgt dd¬« d « }d
|
| }|d k( r$|j |d ¬ « t |dgd¬« }ne|dk( r$d}|j |« t |dgd¬« }n<|dk( r!|j |« t |dg¬« }n|dk( rät j d« t j d« G fdd j « }|j t j j t t" d¬« « |j% « 5 } | j' d |« |j) |« t+ |« }d d d « |j- « }
|
|
|
j. d k( s/J |d k( r(t j d « |j1 |« |}t3 j4 |« y # 1 sw Y nxY w)!zE
|
Test that many to/read functions support GCS.
|
|
GH 33987
|
é é ç @ÚtÚsú
|
2018-06-18é ©Úperiods©ÚintÚfloatÚstrÚdtzgs://test/test.r1 T)ÚindexrD r )Ú parse_datesÚ index_colr4 zgs://test/test.xlsxr2 )Ú convert_datesr3 Úpyarrowz
|
pyarrow.fsc ó" e Zd Ze fd« Zy)ú(test_to_read_gcs.<locals>.MockFileSystemc ó¾ t d« t j | j dd« « j « j « }j |« S )NzUsing pyarrow filesystemzgs://Ú )ÚprintÚpathlibÚPathÚreplaceÚabsoluteÚas_uriÚLocalFileSystem)r" Úto_localÚpa_fss r Úfrom_uriz1test_to_read_gcs.<locals>.MockFileSystem.from_uriZ sH ø äÐ0Ô1Ü"<<¨¯ © °W¸bÓ(AÓB×KÑKÓM×TÑTÓVØ ×,Ñ,¨XÓ6Ð6r N)r$ r% r& r' rW )rV s r ÚMockFileSystemrK Y s ø Ø ó 7ó ñ 7r rX z&pyarrow 17 broke the mocked filesystem)ÚraisesÚreasonÚ
|
FileSystemNz2Using pyarrow filesystem
|
Using pyarrow filesystem
|
r5 Útabulate)r ÚnpÚnanr Úto_csvr Úto_excelr Úto_jsonr
|
r+ r, r[ Ú applymarkerÚmarkÚxfailr Ú TypeErrorÚcontextÚsetattrÚ
|
to_parquetr Ú
|
readouterrÚoutÚ to_markdownÚtmÚassert_frame_equal) r r0 Ú monkeypatchÚcapsysÚrequestÚdf1r" Údf2rX ÚmÚcapturedrV s @r Útest_to_read_gcsru 7 sÇ ø ô àq6Ø266]Ø:Ü \°1Ô5ñ
|
ó Cð VHÐ %Dà Ø
|
|
4t
|
Ô$Üt¨$¨¸1Ô=Ø 7Ò Ø$Ø TÔܨD¨6¸QÔ?Ø 6Ò Ø DÔܨT¨FÔ3Ø 9Ò Ü×ÑIÔ&Ü×#Ñ# LÓ1ö 7U× -Ñ -ô 7ð ×ÑÜ KK× Ñ Ü(Ð(Ü Ø?ð ó ô
|
ð × Ñ Ó "ð % aØ IIe\¨>Ô :Ø NN4Ô Ü tÓ$C÷ %ð ×$Ñ$Ó&Ø||Ð UÒUÐUÐUØ :Ò Ü×ÑJÔ'Ø Ô Øä×Ñ#sÕ#÷ %ð %ús Ä>0GÇG$ÚresultÚexpectedÚ compressionc ól |dk( rt j t | « « 5 }t j t |« « 5 }t |j « |j « « D ] \ }}|j
|
|j
|
k( r J ddd« ddd« y|dk( rØt j t | « ¬« 5 }t j t |« ¬« 5 }t |j « |j « « D ][ \ } }
|
|j | « } |j |
|
« } | du | du k( sJ | 6| 9| j « | j « k( r[J ddd« ddd« y| |k( sJ y# 1 sw Y ÷xY w# 1 sw Y yxY w# 1 sw Y 2xY w# 1 sw Y yxY w)a
|
For zip compression, only compare the CRC-32 checksum of the file contents
|
to avoid checking the time-dependent last-modified timestamp which
|
in some CI builds is off-by-one
|
|
See https://en.wikipedia.org/wiki/ZIP_(file_format)#File_headers
|
ÚzipNÚtar)Úfileobj) ÚzipfileÚZipFiler rz ÚinfolistÚCRCÚtarfiler Ú
|
getmembersÚ extractfileÚread) rv rw rx ÚexpÚresÚres_infoÚexp_infoÚtar_expÚtar_resÚ tar_res_infoÚ tar_exp_infoÚ actual_fileÚ expected_files r Úassert_equal_zip_safer u s² ð eÒä __W V_Ó -ð 4°´g·o±oÜ HÓ ó7
|
ð 4à Ü&)¨#¯,©,«.¸#¿,¹,».Ó&Iò 4Ñ"(Ø || x§|¡|Ó3Ð3Ð3ñ 4÷ 4÷ 4ð 4ð
|
|
Ò Ü \\¤'¨&£/Ô 2ð
|
F°g¼w¿|¹|ÜHÓ%ô@
|
ð
|
Fà Ü.1Ø×"Ñ"Ó$ g×&8Ñ&8Ó&:ó/ò FÑ* lð &× 1Ñ 1°,Ó ? Ø '× 3Ñ 3°LÓ A Ø# tÐ+° À$Ð1FÒGÐGÐGØ Ñ*¨}Ñ/HØ&×+Ñ+Ó-° ×1CÑ1CÓ1EÓEÐEÐEñ F÷
|
F÷
|
Fð
|
Fð Ò!Ð!Ñ!÷% 4ð 4ú÷ 4ð 4ú÷
|
Fð
|
Fú÷
|
Fð
|
Fúsa ¤ FÁAF FÂFà F*Ã%A F ÅF Å!F Å)F Å-F*ÆF Æ FÆFÆ F' Æ#F*Æ*F3Úencodingúutf-8Úcp1251c óø t dt j d« j d« z t t d« « t t d« D cg c] }d| c}« ¬« }d|i}|d k( rd
|
|d < t « }|j |||d ¬ « d}|j |||¬« | j « } |j « }
|
t | |
|
|« t |d||¬« } t j || « || } d|d< |d| z }|j |||¬« | j « } |j « }
|
t | |
|
|« t |dd|¬« } t j || « yc c}w )z
|
Compression and encoding should with GCS.
|
|
GH 35677 (to_csv, compression), GH 26124 (to_csv, encoding), and
|
GH 32392 (read_csv, encoding)
|
gñ?éx )é é ÚABCDr zi-)ÚcolumnsrE ÚmethodÚgzipr7 ÚmtimeÚwb)rx r Úmodeúgs://test/test.csv)rx r r )rG rx r Úinferú.N)r r] ÚarangeÚreshaper ÚlistÚranger r_ Úgetvaluer r rl rm ) r Úcompression_onlyr Úcompression_to_extensionÚiÚdfrx ÚbufferÚpath_gcsr rw Úread_dfÚfile_exts r Ú$test_to_csv_compression_encoding_gcsr® sx ô
|
Ø biin×$Ñ$ WÓ-Ñ-Üd6lÓ#ܤu¨R£yÖ1 !r!XÒ1Ó2ô
|
Bð Ð -Ð.KØ6Ò!Ø GÑ Ü YFØIIf +¸ÀtIÔLð $HØIIh K¸(IÔCØ
|
×
|
Ñ
|
Ó
|
CØÓ HÜ#xÐ)9Ô:äØAÐ+;ÀhôGô ×Ñ"gÔ&ð (Ð(8Ñ9HØ #KÑØ !H:Ñ HØIIh K¸(IÔCà
|
×
|
Ñ
|
Ó
|
CØÓ HÜ#xÐ)9Ô:äx¨1¸'ÈHÔUGÜ×Ñ"gÕ&ùòC 2s Á E7c ó, t j d« t j d« ddlm} t ddgdt
|
j gdd gt d
|
d ¬ « d « } G fdd|« }| j d|« |j dddd¬« y)zCRegression test for writing to a not-yet-existent GCS Parquet file.Ú fastparquetr r )r. r7 r8 r9 r: r; r< r= r> r@ c ó e Zd Zd fd Zy)ú7test_to_parquet_gcs_new_file.<locals>.MockGCSFileSystemc óp d|vrt t t j j d« |d¬« S )NÚwz test.parquetr )r )ÚFileNotFoundErrorr Úosr" Újoin)r! r" r r Útmpdirs r r z<test_to_parquet_gcs_new_file.<locals>.MockGCSFileSystem.openÖ s. ø Ø$Ü'Ð'Ü V¨^Ó<¸dÈWÔUÐ Ur N)Úr)r$ r% r& r )r¸ s r r( r² Õ s ø ö Vr r( zgcsfs.GCSFileSystemr TN)rE Úenginerx )
|
r+ r, r r. r r] r^ r rg rh )rn r¸ r. rq r( s ` r Ú test_to_parquet_gcs_new_filer» Å s ø ä
|
×Ñ Ô&Ü
|
×ÑÔ å)ä
|
àq6Ø266]Ø:Ü \°1Ô5ñ
|
ó CöVÐ .ô Vð ×ÑÐ-Ð/@ÔAØNNØ D° ÈDð õ r r c óv t j t « 5 t d« d d d « y # 1 sw Y y xY w)Nr )rl Úexternal_error_raisedÚ ImportErrorr r r r Ú test_gcs_not_present_exceptionr¿ á s. ä × !Ñ !¤+Ó .ñ 'ÜÐ%Ô&÷'÷ 'ñ 'ús /¯8)(Úior r¶ rO r r} Únumpyr] r+ Úpandas.compat.pyarrowr Úpandasr r r r r r
|
r Úpandas._testingÚ_testingrl Ú pandas.utilr Útdrc ÚfilterwarningsÚ
|
pytestmarkÚfixturer Ú
|
single_cpuÚ parametrizeru ÚbytesrC r r® r» Úskip_if_installedr¿ r r r ú<module>rÏ s ðÝ Û Û Û Û ã Û å 6÷÷ ñ õ Ý .à [[× 'Ñ 'ØCó
|
ð
|
ñó ðð2 ×ÑØ×ÑÒ#RÓSñ9$ó Tó ð9$ðx " %ð "°5ð "Àsó "ð> ×Ñ g¨xÐ%8Ó9ñ-'ó :ð-'ò`ð8 ×ÑgÓ ñ'ó ñ'r
|
