Ë
|
oñúh( ã ób d Z ddlmZ ddlZddlZddlZddlZej j d« ddl
|
Z ddl Z ddl m Z mZmZmZmZmZmZmZmZmZmZmZmZmZ ddlm Z ddl m Z m Z m Z m!Z!m"Z"m#Z#m$Z$m%Z%m&Z&m'Z'm(Z(m)Z)m*Z*m+Z+m,Z,m-Z-m.Z.m/Z/m0Z0m1Z1 d Z2d Z3d Z4d
|
Z5d Z6d Z7d Z8e9dk( r e8« yy)a
|
self-contained to write legacy storage pickle files
|
|
To use this script. Create an environment where you want
|
generate pickles, say its for 0.20.3, with your pandas clone
|
in ~/pandas
|
|
. activate pandas_0.20.3
|
cd ~/pandas/pandas
|
|
$ python -m tests.io.generate_legacy_storage_files tests/io/data/legacy_pickle/0.20.3/ pickle
|
|
This script generates a storage file for the current arch, system,
|
and python version
|
pandas version: 0.20.3
|
output dir : pandas/pandas/tests/io/data/legacy_pickle/0.20.3/
|
storage format: pickle
|
created pickle file: 0.20.3_x86_64_darwin_3.5.2.pickle
|
|
The idea here is you are using the *current* version of the
|
generate_legacy_storage_files with an *older* version of pandas to
|
generate a pickle file. We will then check this file into a current
|
branch, and test using test_pickle.py. This will load the *older*
|
pickles and test versus the current data that is generated
|
(with main). These are then compared.
|
|
If we have cases where we changed the signature (e.g. we renamed
|
offset -> freq in Timestamp). Then we have to conditionally execute
|
in the generate_legacy_storage_files.py to make it
|
run under the older AND the newer version.
|
|
é )Ú timedeltaN)Ú CategoricalÚ DataFrameÚIndexÚ
|
MultiIndexÚNaTÚPeriodÚ
|
RangeIndexÚSeriesÚ TimestampÚ bdate_rangeÚ
|
date_rangeÚinterval_rangeÚ period_rangeÚtimedelta_range)Ú SparseArray)ÚFY5253Ú BusinessDayÚ BusinessHourÚCustomBusinessDayÚ
|
DateOffsetÚDayÚEasterÚHourÚLastWeekOfMonthÚMinuteÚ
|
MonthBeginÚMonthEndÚ QuarterBeginÚ
|
QuarterEndÚSemiMonthBeginÚ SemiMonthEndÚWeekÚ WeekOfMonthÚ YearBeginÚYearEndc ó¾ t j } t j dt j ¬« }| |dd | |dd t t |d¬« « }d|_ |S ) Né ©Údtypeé é éÿÿÿÿÚblock©ÚkindÚbseries)ÚnpÚnanÚarangeÚfloat64r r Úname)r3 Úarrr1 s ú`H:\Change_password\venv_build\Lib\site-packages\pandas/tests/io/generate_legacy_storage_files.pyÚ_create_sp_seriesr9 Z sT Ü
|
&&Cô ))BbjjÔ
|
)CØC"IØCHä[ ¨7Ô3Ó4GØ GLØ Nó c óî t j } t j dt j ¬« }| |dd | |dd t dt |« ¬« }t t |d¬ « |¬
|
« }d |_ |S ) Nr( r) r+ r, r- ú1/1/2011©Úperiodsr. r/ ©ÚindexÚ btsseries) r2 r3 r4 r5 r Úlenr r r6 )r3 r7 Ú
|
date_indexr1 s r8 Ú_create_sp_tsseriesrD g sf Ü
|
&&Cô ))BbjjÔ
|
)CØC"IØCHä Z´°S³Ô:JÜ[ ¨7Ô3¸:ÔFGØ GLØ Nr: c ó& t j } | | | dddddddg
|
ddd| | | ddddg
|
t j d« j t j « dddddd| | | | g
|
d }t d
|
d¬ « }t ||¬ « j t « S ) Nr é é é é é é é
|
©ÚAÚBÚCÚDr< r= r? ) r2 r3 r4 ÚastypeÚint64r r Úapplyr )r3 ÚdataÚdatess r8 Ú_create_sp_framerW u s Ü
|
&&Cð 3Q 1 a¨¨A¨qÐ 1ØAsC a¨¨A¨qÐ 1Ü YYr]× !Ñ !¤"§(¡(Ó +ØAq!Q S¨#¨sÐ 3ñ Dô
|
¨BÔ /EÜ T Ô '× -Ñ -¬kÓ :Ð:r: c ó ddddt j gg d¢g d¢t dd¬ « dd
|
t d « d dgd } t d« t dd« d}t t j d« « t dd¬ « t ddd¬« t t j dt j ¬« « t t j dt j ¬« « t ddd¬« t g d¢d¬« d}t d« |d< t d d¬ « |d < d t j t t! g d ¢g d ¢g « d!d"g¬#« i}t# | d$ « t# | d% « t# | d& « t# t j d« j% t j& « t dd¬ « ¬'« t# t j d« j% t j « t j t t! g d(¢g d)¢g « d*d+g¬#« ¬'« t# t j d« j% t j « g d,¢¬'« t# t) g d-¢« « t# t dd¬ « « t# t ddd.¬/« « t# t d0« gdz « t# g d¢d¬« d1 }t+ | « }t- d2« |_ t+ |d3 |d3 d
|
z d4« t+ |d5 |d5 d
|
z d4« t+ d6D ci c] }|| |
|
c}« t+ t j d« j% t j « t j d« j% t j& « d4t j t t! g d7¢g d8¢g « d!d"g¬#« ¬'« t+ t j d9« j1 dd:« j% t j « g d;¢¬<« t+ d$t) d d=g« i« t+ t) g d-¢« t j d:« j% t j& « d4« |t+ t d>d.¬?« t d@dA¬?« d4t3 d« ¬'« t+ t d>d.¬?« t d@dA¬?« t d@dB¬?« dCt3 d« ¬'« t+ t# g d¢d¬« t# g d8¢d¬« d4« dD }t) t- dE« « t) t j dF« « t) t j dG« « dH}t dI« t4 t dId.¬?« dJ} i dKt7 d
|
¬L« dMt7 dNdO¬P« dQt9 t; dR¬S« ¬T« dUt= dVdNdW¬X« dYt? dZ¬[« d\tA dR¬]« d^tC d_¬]« d`tE d
|
« datG d
|
« dbtI d
|
« dctK d
|
« ddtM d
|
« detO d
|
« dftQ d
|
« dgtS d
|
« dhtS didjd
|
¬k« dltU d:dm¬n« tW d
|
d:¬o« tY didNdpdq¬r« t[ « t] d
|
« t_ d
|
« ds¥}
|
|||||ta « tc « dtd3te « i|| |
|
du
|
S c c}w )vzcreate the pickle datag g ð?g @g @)r rF r rF r )Úfoo1Úfoo2Úfoo3Úfoo4Úfoo5z1/1/2009rJ r= rF Ú20100101Úfoo)rN rO rP rQ ÚEÚ20130101Ú2012ÚM)Ú timestampÚperiodrL z
|
2013-01-01)Úfreqr> r) z00:00:00Ú30min)r_ ÚbarÚbazÚquxÚquuxÚstring)ÚintÚdatere ÚfloatÚuintr rl Úranger ÚintervalÚreg2)rh rh ri ri r_ r_ rj rj )ÚoneÚtwort ru rt ru rt ru ÚfirstÚsecond)ÚnamesrN rO r` r? )rF rF rG rG rG )rH rI rH rI rJ rt ru )rN rO rP rQ rN )r_ rh ri z
|
US/Eastern)r> ÚtzÚ2000Q1) ro rm ÚmixedÚtsÚmiÚdupÚcatÚdtÚdt_tzre rl ÚABCDAro )rN rO rm rM )rh rh ri ri ri )rt ru rt ru Úthreer( rH )rN rO rN )Úcolumnsrh Ú20130102)ry Ú20130603ÚCETÚUTC)rN rO rP ) ro rm r{ r} r~ Ú
|
cat_onecolÚ cat_and_floatÚ mixed_dupÚ dt_mixed_tzsÚ dt_mixed2_tzsrl Úabcdefgiè i' )Úint8Úint16Úint32z
|
2011-01-01)ÚnormalÚnatry r )ÚyearsÚDateOffset_h_nsrK iÀ )ÚhourÚ nanosecondsr é )Úseconds)Úoffsetr Tz15:14)Ú normalizeÚnÚendr zMon Fri)Úweekmaskr! )Ú day_of_monthr" é r r r r r r% r& r# Ú Week_TuesrG F)r Úweekdayr$ rI )Úweekr¢ )r r¢ r+ Úlast)r r¢ Ú startingMonthÚ variation)r r r r r )ro r| )
|
ÚseriesÚframer@ Úscalarsr} Ú sp_seriesÚsp_framer rd Úoffsets)3r2 r3 r r r r r4 r r5 Úuint64r r
|
r r Ú from_tuplesÚtupleÚzipr rR rS r r Úlistr Úreshaperq r r r r r r r! r" r r r r r r% r& r# r$ r r r r r r9 rD rW ) rU r© r@ r} r§ Ú mixed_dup_dfÚkr¨ r rd Úoffs r8 Úcreate_pickle_datar¶ s ð 3S¤"§&¡&Ð )Ú Ú 5Ü
|
¨AÔ .Ø1i
|
Ó+¨U°CÐ 8ñ Dô & jÓ 1¼VÀFÈCÓ=PÑQGô RYYr]Ó#Ü:¨rÔ2Ü |°#¸rÔBÜryy ¬2¯:©:Ô6Ó7Übii ¬"¯)©)Ô4Ó5Ü$ Z°gÀrÔJÜÒ<ÀHÔMñ Eô ^E'Nä& q°"Ô5E*Ñð
|
×&Ñ&Ü ÜâPÚPððó ð HÐ%ô
|
|
ð
|
Bô S Ó"Üd3iÓ ÜS Ó"ÜÜ IIbM× Ñ ¤§¡Ó *´*¸ZÐQSÔ2Tô
|
ô Ü IIaL× Ñ ¤§
|
¡
|
Ó +Ü ×(Ñ(ÜcOª_Ð=Ð>Ó?ÈÈuÀ~ôô
|
ô bii l×)Ñ)¬"¯*©*Ó5Ò=VÔWÜkÒ"7Ó8Ó9ÜZ
|
°AÔ6Ó7Ü
|
:°q¸\ÔJÓKÜ& Ó*Ð+¨aÑ/Ó0ÜÒ=ÀXÔNñ%Fô* T?LÜ =LÔä ¨¡ °v¸g±ÈÑ7JÑKÓLÜv e}°6¸%±=À1Ñ3DÑEÓFÜÐ0DÖE¨1At AwJÒEÓFÜÜ))A,×%Ñ%¤b§j¡jÓ1¼¿ ¹ À!» ×8KÑ8KÌBÏHÉHÓ8UÑ VÜ ×(Ñ(ÜÜâ ?Ú Aððóð Ð)ô
|
ô
|
ô Ü IIbM× !Ñ ! ! QÓ '× .Ñ .¬r¯z©zÓ :ÂOô
|
ô ¤k°5¸%°.Ó&AÐ BÓCÜ"ä Ò!6Ó7ÜYYq\×(Ñ(¬¯©Ó2ñ ó
|
ð "Ü!ä z¨lÔ;Ü z¨eÔ4ñ ô (ô
|
ô #ä z¨lÔ;Ü z¨eÔ4Ü z¨eÔ4ñ ô
|
(ô
|
ô äÒ @ÈÔQÜÒ AÈÔRñ ó
|
ñY2 Eôj D OÓ,Ü RYY t_Ó-Ü RYY uÓ -Ó.ñ Cô LÓ)ÜÜ ¨ Ô6ñIð Øj qÔ)ð à:¨1¸$Ô?ð ð {¬)¸AÔ*>Ô?ð ð ¨t°q¸gÔFð ð
|
Ô .¸ Ô Bð ð .°aÔ8ð ð °"Ô5ð ð j mð ð HQKð ð Qð ð j mð ð s1vð ð Yq\ð ð 71:ð ð Qð ð T! u°aÔ8ð! ð" {¨°1Ô5ð# ô$ +¨Q¸Ô:Ü1 a°qÀFÔKÜ(ÜQÜ)ò- Cð4 ØØØØÜ 0Ó 2Ô:MÓ:OÑPØ Ô .Ó 0Ð1ØØ Øñ ð ùòm Fs Ì [ c ó dj t t j « t t j
|
« « t t j « j « « t t j « « g« S )NÚ_) ÚjoinÚstrÚpandasÚ __version__ÚplÚmachineÚsystemÚlowerÚpython_version© r: r8 Ú platform_namerà ) s\ Ø 88ä ×"Ñ"Ó #Ü
|
|
Ó Ü ×!Ñ!Ó#Ó $Ü ×!Ñ!Ó#Ó $ð
|
ó ð r: c ó t j }t d« t d| « t d| « t d« t « d}t t
|
j j | |« d« 5 }t j t « |t j « d d d « t d| « y # 1 sw Y xY w)NzUThis script generates a storage file for the current arch, system, and python versionz pandas version: z output dir : z storage format: picklez.pickleÚwbzcreated pickle file: ) r» r¼ Úprintrà ÚopenÚosÚpathr¹ ÚpickleÚdumpr¶ ÚDEFAULT_PROTOCOL)Ú
|
output_dirÚversionÚpthÚfhs r8 Úwrite_legacy_picklesrÑ 4 s´ Ü× Ñ Gä ð ôô
|
Ð wiÐ
|
(Ô)Ü Ð zlÐ
|
+Ô,Ü Ð
|
$Ô%ä _Ð WÐ
|
%Cä bggll: sÓ+¨TÓ 2ð G°bÜ Ô&Ó(¨"¬f×.EÑ.EÔF÷Gô
|
Ð ! # Ð
|
'Õ(÷Gð Gús Á:.B?Â?Cc óÜ t j j dd« dt t j « cxk rdk sn t j
|
d« t t j d « } t t j d « }t j j | « st j | « |dk( r t | ¬ « y t j
|
d
|
« y ) Nr Ú rH rI zhSpecify output directory and storage type: generate_legacy_storage_files.py <output_dir> <storage_type> rF rG rÊ )rÍ z&storage_type must be one of {'pickle'}) ÚsysrÉ ÚinsertrB ÚargvÚexitrº rÈ ÚexistsÚmkdirrÑ )rÍ Ú storage_types r8 Úwrite_legacy_filerÛ G s äHHOOArÔà CHH Ô " Ô "Ü ð <ô
|
ô
|
SXXa[Ó!JÜsxx {Ó#Lä 77>>*Ô %Ü
|
Ô àxÒ Ü ¨
|
Ö3ä Ð9Õ:r: Ú__main__):Ú__doc__Údatetimer rÈ rÊ Úplatformr½ rÔ rÉ ÚpopÚnumpyr2 r» r r r r r r r
|
r r r r r r r Ú pandas.arraysr Úpandas.tseries.offsetsr r r r r r r r r r r r r r r! r" r# r$ r% r& r9 rD rW r¶ rà rÑ rÛ Ú__name__r r: r8 ú<module>rå s¤ ðñ õD Û Û Û Û
|
ð Qã ã ÷÷ ÷ ÷ õ &÷÷ ÷ ÷ ÷ ó ò0
|
ò ò ;ò còLò)ò&;ð, zÒÙÕð r:
|
