Ë
|
nñúhw7 ã ó2 d dl mZ d dlmZ d dlmZ d dlZd dlZd dl m
|
Z
|
m Z d dl m Z d dlmZ d dlmZ d d lmZ d d
|
lmZmZ d d lmZ d d lmZ d d lm Z m Z d dl m Z m Z m!Z! er d dl"m#Z#m$Z$m%Z% d dl&m'Z'm(Z(m)Z)m*Z* d dl+m,Z,m-Z- G d de « Z.ddZ/ ddZ0y)é )Ú annotations)Ú defaultdict)Ú TYPE_CHECKINGN)ÚlibÚparsers)Úimport_optional_dependency)Ú DtypeWarning)Úfind_stack_level)Ú pandas_dtype)Ú concat_compatÚunion_categoricals)ÚCategoricalDtype)Úensure_index_from_sequences)Ú dedup_namesÚis_potential_multi_index)Ú
|
ParserBaseÚ ParserErrorÚ is_index_col)ÚHashableÚMappingÚSequence)Ú ArrayLikeÚDtypeArgÚDtypeObjÚ ReadCsvBuffer)ÚIndexÚ
|
MultiIndexc ój e Zd ZU ded< ded< d fd Zd dZd dZ d ddZdd Zddd
|
Z xZ
|
S )ÚCParserWrapperÚboolÚ
|
low_memoryzparsers.TextReaderÚ_readerc óH t | |« || _ |j « }|j dd« | _ | j du|d< | j |d< | j j |d< dD ] }|j |d « t |j dd « « |d< d|vs|d t j u rd |d< |d d
|
k( r t d
|
« t j |fi |¤| _ | j" j$ | _ | j& d u }| j" j( d | _ nE| j+ | j" j( | j, |« \ | _ | _ | _ }| j& -t1 t3 | j" j4 « « | _ | j& d d | _ | j r| j9 | j | j6 « }| j6 J | j: d k( r@t= |« j? | j6 « s | jA || j6 « tC | j& « tC |« kD r5tE | j& « D cg c] \ }}||v s||v r| c}}| _ tC | j& « tC |« k r | jA || j& « | jG | j& « | jI « | j& | _ | jJ sÀ| j" jL d k( rctO | j « rNd | _( | jS | j& | j « \ }| _ | _ | j, || _ | j" j( .|s,| j, J d gtC | j, « z | _ | j" jL d kD | _* y c c}}w )Nr! FÚallow_leading_colsÚusecolsÚ on_bad_lines)Ústorage_optionsÚencodingÚ
|
memory_mapÚ compressionÚdtypeÚ dtype_backendÚnumpyÚpyarrowÚstringr T)+ÚsuperÚ__init__ÚkwdsÚcopyÚpopr! Ú index_colr% r& ÚvalueÚensure_dtype_objsÚgetr Ú
|
no_defaultr r Ú
|
TextReaderr" Ú unnamed_colsÚnamesÚheaderÚ _extract_multi_indexer_columnsÚ index_namesÚ col_namesÚlistÚrangeÚ table_widthÚ
|
orig_namesÚ_evaluate_usecolsÚ usecols_dtypeÚsetÚissubsetÚ_validate_usecols_namesÚlenÚ enumerateÚ _validate_parse_dates_presenceÚ_set_noconvert_columnsÚ_has_complex_date_colÚ leading_colsr Ú_name_processedÚ_clean_index_namesÚ_implicit_index)
|
ÚselfÚsrcr2 ÚkeyÚ passed_namesr% ÚiÚnr? Ú __class__s
|
úUH:\Change_password\venv_build\Lib\site-packages\pandas/io/parsers/c_parser_wrapper.pyr1 zCParserWrapper.__init__< s ø Ü ÑÔ Ø Øyy{à (( <°Ó7ð
|
NN %Ð 'ð Ð !Ñ"ð
|
,,Yð $× 0Ñ 0× 6Ñ 6^Ñ ð
|
ò Cð HHS$Õ ð ô *¨$¯(©(°7¸DÓ*AÓBW Ø $Ñ &¨$¨Ñ*?Ä3Ç>Á>Ñ*QØ$+D Ñ !Ø Ñ IÒ -ä & yÔ 1Ü ×)Ñ)¨#Ñ6°Ñ6 à LL× 5Ñ 5Ôð zz TÐ) à <<× Ñ Ð &Ø DJð ×3Ñ3Ø ×#Ñ#Ø× Ñ Ø óñ Ø
|
ØÔ ØØ ð ::Ð Ü e D§L¡L×$<Ñ$<Ó =Ó>DJð **¡Q-à <<Ø×,Ñ,¨T¯\©\¸4¿?¹?ÓKGð ??Ð.Ð .Ð.Ø×!Ñ! XÒ-´c¸'³l×6KÑ6KØô7ð ×,Ñ,¨W°d·o±oÔFô 4::¤ W£ Ò-ô
|
!*¨$¯*©*Ó 5÷ ñ 1ØW ¨¨W© ò ó
|
ô 4::¤ W£ Ò-à×,Ñ,ØØJJôð ×+Ñ+¨D¯J©JÔ7Ø ×#Ñ#Ô%ð **à×)Ò)à||×(Ñ(¨AÒ-´,Øô3ð (,Ô$ð ×+Ñ+àJJàNNó ñ Ø àJØNð ×#Ñ#Ð+Ø'2DÔ$à||×"Ñ"Ð*±<Ø×'Ñ'Ð3Ð3Ð3Ø$( 6¬C°×0@Ñ0@Ó,AÑ#AÔ à #||× 8Ñ 8¸1Ñ <Õ ùó_ s Ê P c óX | j j « y # t $ r Y y w xY w©N)r" ÚcloseÚ
|
ValueError)rS s rZ r] zCParserWrapper.close s) ð Ø LL× Ñ Õ øÜò Ù ð ús )¨)c ó: | j J t | j « D ci c] \ }}||
|
}}}| j D cg c] }|| }}| j || j « }|D ] }| j j |« yc c}}w c c}w )z¹
|
Set the columns that should not undergo dtype conversions.
|
|
Currently, any column that is involved with date parsing will not
|
undergo such conversions.
|
N)rD rK r< Ú _set_noconvert_dtype_columnsr" Ú set_noconvert)rS rW ÚxÚ
|
names_dictÚ col_indicesÚnoconvert_columnsÚcols rZ rM z%CParserWrapper._set_noconvert_columnsÉ s ð Ð*Ð*Ð*ô (1°· ± Ó'A×Btq !adÐB
|
ÑBØ.2¯j©jÖ9¨z !}Ð9 Ð9à × =Ñ =Ø Ø JJó
|
Ðð %ò ,CØ LL× &Ñ & sÕ +ñ ,ùó CùÚ9s § BÁ Bc ó | j r'| j j |« }t |« }n| j j |« }d| _ | j& }| j j( rÆ| j* r t- d« g }
|
| j re| j j( t/ | j « k7 r9t1 dt/ | j « d| j j( d« t3 | j j( « D ]c } | j |j5 | « } n |j5 | j | « } | j7 | | d¬« } |
|
j9 | « e t; |
|
« }| j | j! |« }t |t || j « « }t= |j# « « } t? || « D ci c] \ }\ } } || }} }} | jA ||« \ }}| j || j « }nøt= |j# « « } | j J tC | j « }t |t || j « « }| j | j! |« }| D cg c] }|d }}| j | jE ||« t? || « D ci c] \ }\ } } || }} }} | jA ||« \ }}| jG |||« \ }}|||fS # t
|
$ ré | j rËd| _ t | j t | j | j « « }| j || j ¬« \ }}}| j || j « }| j | j! |« }|j# « D ci c] \ }} ||v s || nc c} }w }}} |||fcY S | j% « w xY wc c} } }w c c}w c c} } }w )
|
NF)r+ z file structure not yet supportedz,Could not construct index. Requested to use z number of columns, but z left to parse.T)Útry_parse_datesé )$r! r" Úread_low_memoryÚ_concatenate_chunksÚreadÚ StopIterationÚ _first_chunkr rD r r5 Ú_get_empty_metar+ Ú _maybe_make_multi_index_columnsr@ r% Ú_filter_usecolsÚitemsr] r< rO rN ÚNotImplementedErrorrJ r rB r4 Ú_maybe_parse_datesÚappendr ÚsortedÚzipÚ_do_date_conversionsrA Ú_check_data_lengthÚ _make_index)rS ÚnrowsÚchunksÚdatar< ÚindexÚcolumnsÚcol_dictÚkÚvÚarraysrW ÚvaluesÚ data_tupsÚ column_namesÚ date_datarb Úalldatas rZ rl zCParserWrapper.readÞ sì ð ØØ ×5Ñ5°eÓ<ä*¨6Ó2ð ||×(Ñ(¨Ó/ð4 "Ôð
|
|
à <<× $Ó $Ø×)Ò)Ü)Ð*LÓMÐMð Fà~~ $§,¡,×";Ñ";¼sÀ4Ç>Á>Ó?RÒ"RÜ!ØBÜ4>>Ó*Ð+Ð+CØ||×0Ñ0Ð1° ðBóð ô 4<<×4Ñ4Ó5ò &Ø>>Ð)Ø !XX a[Fà !XX d§n¡n°QÑ&7Ó 8Fà ×0Ñ0°¸ÈDÐ0ÓQØ fÕ%ð &ô 0°Ó7Eà||Ð'Ø ×,Ñ,¨UÓ3ä Ô'?ÀÀtÇ~Á~Ó'VÓWEô tzz|Ó,IÜ*-¨e°YÓ*?×@Ð@YQ¡ AAqDÐ@DÒ@à&*×&?Ñ&?ÀÀtÓ&LÑ #L)ð ×?Ñ?Ø dnnó Lô tzz|Ó,Ið
|
??Ð.Ð .Ð.Ü Ó)EÜ Ô'?ÀÀtÇ~Á~Ó'VÓWEà||Ð'Ø ×,Ñ,¨UÓ3ð &/Ö/ qtÐ/GÐ/Ø||Ð#Ø×'Ñ'¨¨wÔ7ä*-¨e°YÓ*?×@Ð@YQ¡ AAqDÐ@DÒ@à #× 8Ñ 8¸ÀÓ EÑ E9Ø"&×"2Ñ"2°9¸gÀuÓ"MÑ E<àl IÐ-Ð-øô ò Ø× Ò Ø$)Ô!Ü#ØOOÜ,¨T¯_©_¸d¿n¹nÓMóð ,0×+?Ñ+?ØØ **ð ,@ó ,Ñ(w ð ×>Ñ>¸wÈÏÉÓWà<<Ð+Ø "× 2Ñ 2°7Ó ;Gà-5¯^©^Ó-=×N¡T Q¨ÀÀg AqDÑNùÓNÑNà g xÐ/Ò/ð
|
|
Øð- üô| Aùò0 0ùô As7 AL= Ç:P2Ê= P9Ë9P>Ì=B=P/Ï: P ÐP Ð P/Ð P/c óÈ | j | j |« }|=t |« t |« k7 r&t |« D cg c] \ }}||v s||v s| }}}|S c c}}w r\ )rE r% rJ rK )rS r< r% rW Únames rZ rq z CParserWrapper._filter_usecolsQ si à×(Ñ(¨¯ © °uÓ=Ø Ð ¤3 u£:´°W³ Ò#=ä$-¨eÓ$4÷Ù D¸¸W¹ ÈÐPWÊðEñ ð ùós ÁA ÁA c ó |r?| j |« r.| j || j | j | nd ¬« }|S )N)rf )Ú_should_parse_datesÚ
|
_date_convr? )rS r r~ rh s rZ rt z!CParserWrapper._maybe_parse_datesZ sK Ù t× 7Ñ 7¸Ô >Ø__ØØ/3×/?Ñ/?Ð/KD×$Ñ$ UÒ+ÐQUð %ó Fð ó )rT zReadCsvBuffer[str]ÚreturnÚNone)r r r\ )r{ z
|
int | Noner z_tuple[Index | MultiIndex | None, Sequence[Hashable] | MultiIndex, Mapping[Hashable, ArrayLike]])r< úSequence[Hashable]r r )T)r~ Úintrh r ) Ú__name__Ú
|
__module__Ú __qualname__Ú__annotations__r1 r] rM rl rq rt Ú __classcell__)rY s @rZ r r 8 sO ø
ØÓØ Ó õD=óLó,ð. !ðq.àðq.ð
|
óq.óf÷ð r r c óÞ t | d j « « }g }i }|D ]ë }| D cg c] }|j |« }}|D ch c] }|j }}|D ch c] } t | t
|
« r| }
|
} |j « } t | t
|
« rt |d¬« ||< t |« ||< t |
|
« dkD s¨|| j t j t « k( sÒ|j t |« « í |rKdj |« } dj d| dg« } t j | t t# « ¬ « |S c c}w c c}w c c} w )
|
z±
|
Concatenate chunks of data read with low_memory=True.
|
|
The tricky part is handling Categoricals, where different chunks
|
may have different inferred categories.
|
r F)Úsort_categoriesri ú,ú z Columns (zK) have mixed types. Specify dtype option on import or set low_memory=False.)Ú
|
stacklevel)rA Úkeysr4 r+ Ú
|
isinstancer r r rJ ÚnpÚobjectru ÚstrÚjoinÚwarningsÚwarnr r
|
)r| r< Úwarning_columnsÚresultr ÚchunkÚarrsÚaÚdtypesrb Únon_cat_dtypesr+ Ú warning_namesÚwarning_messages rZ rk rk c sM ô Ó!Ó "EØOàFØò 2Ø-3Ö4 E $Ð4Ð4à#'Ö(a!''Ð(Ð(Ø%+ÖS ´:¸aÔAQÕ3R!ÐSÐSà
|
|
Ü eÔ -Ô .Ü-¨dÀEÔJF4Lä(¨Ó.F4LÜ>Ó" QÓ&¨6°$©<×+=Ñ+=ÄÇÁÌ&ÓAQÓ+QØ ×&Ñ&¤s¨4£yÕ1ð 2ñ Ø Ó1 Ø ((àM?ð +Jð Kð ó
|
ô o¤|Ô@PÓ@RÕSØ Mùò- 5ùâ(ùÚSs ªE ÁE%Á!E*Á7E*c óD t | t « rOt | j « « t fd« }| j « D ] }t | | « ||< |S t | t
|
« r | D ci c] }|t | | « c}S | t | « S | S c c}w )zc
|
Ensure we have either None, a dtype object, or a dictionary mapping to
|
dtype objects.
|
c ó S r\ © )Ú default_dtypes rZ ú<lambda>z#ensure_dtype_objs.<locals>.<lambda> s ø ¸= r )r r r Údefault_factoryr Údict)r+ Údtype_convertedrU r r± s @rZ r7 r7 s ø ô %Ô%ä$ U×%:Ñ%:Ó%<Ó= Ü'2Ó3HÓ'IØ::<ò <CÜ#/°°c±
|
Ó#;OCÒ ð <à Ð Ü E4Ô Ø38Ö9¨a< a¡Ó)Ñ)Ò9Ð9Ø Ð ÜEÓ"Ð"Ø Lùò :s Á5B )r| zlist[dict[int, ArrayLike]]r r´ )r+ z*DtypeArg | dict[Hashable, DtypeArg] | Noner z*DtypeObj | dict[Hashable, DtypeObj] | None)1Ú
|
__future__r Ú collectionsr Útypingr r£ r- r Ú pandas._libsr r Úpandas.compat._optionalr Ú pandas.errorsr Úpandas.util._exceptionsr
|
Úpandas.core.dtypes.commonr Úpandas.core.dtypes.concatr r Úpandas.core.dtypes.dtypesr Úpandas.core.indexes.apir Úpandas.io.commonr r Ú pandas.io.parsers.base_parserr r r Úcollections.abcr r r Úpandas._typingr r r r Úpandasr r r rk r7 r° r rZ ú<module>rÆ s ðÝ "å #Ý Û ã ÷õ ?Ý &Ý 4å 2÷õ 7å ?÷÷ñ ñ ÷ñ ÷ ó ÷ô hZô hóV "ðJØ 5ðà/ôr
|
