R: чытанне вялікіх файлаў дадзеных у R

У R, ёсць бібліятэкі, якія дапамагаюць паскорыць працэс чытання вялікіх файлаў дадзеных. Прыклады такіх бібліятэк ўключаюць sqldf і сл.

Што было б недахопам выкарыстання гэтых пакетаў, каб прачытаць невялікі файл, які можна было б звычайна чытаць з read.csv?

Калі іх няма недахопаў выкарыстання іх для чытання дробных файлаў, ці азначае гэта, такія функцыі, як read.csv не можа мець шмат карысці ў будучыні, улічваючы якія ўзнікаюць вялікія-дадзеныя, арыентаваныя на чытач?

1
<Код> sqldf стварае базу дадзеных, імпартуе дадзеныя, а затым выдаляе базу дадзеных. Здаецца, што шмат працы для невялікага CSV <кода /> файл
дададзена аўтар oW_, крыніца

1 адказы

У R шмат вялікіх паляпшэнняў, як правіла, зроблены шляхам стварэння новых бібліятэк, а не змены фактычных функцый у самой базавай R. DataTable, read_csv ў readr, tibbles і г.д. вельмі добрыя прыклады.

read.csv супраць FREAD, як адказаў сам Мэт Dowle - " https://stackoverflow.com/questions/24424361/reason-behind-speed-of-fread-in-data-table-package-in-r "

read.csv прымушаюць радкі ў якасці фактараў, па змаўчанні, не зроблена па read_csv і FREAD. Так што, калі гэта тое, што вам трэба, read.csv будзе добра працаваць. Цяпер, адказваючы на ​​ваша пытанне, не з'яўляецца недахопам выкарыстання хуткіх чытачоў чытаць маленькія файлы, акрамя невялікага павелічэння хуткасці, што вы маглі б атрымаць.

1
дададзена