在导入100多G的文件时,需要特别注意以下几点:
1. 必须使用命令行导入数据,因为图形界面工具可能会出现内存泄漏等问题。
2. 在导入过程中不要尝试使用MYSQL客户端进行操作,因为它可能因为缓存大小限制而导致程序崩溃。
3. 需要在my.ini中进行相关设置,使用以下参数。
max_allowed_packet=128M innodb_buffer_pool_size=12G innodb_log_file_size=3G innodb_log_buffer_size=512M
4. 在运行导入命令时,可以使用–compress参数,让MySQL自动解压您上传的文件并导入其中的数据。
5. 可以使用Linux的split命令将大文件拆成多个小文件,然后使用MySQL的加载文件功能,将拆分后的文件插入到MySQL数据库中。
例如,要将文件拆分成100个1G的部分,您可以使用以下命令:
split -b 1G original_file.sql split_file.
这会生成100个名为split_file.aa到split_file.dz的文件。
要使用这些小文件导入数据,您可以使用以下命令:
mysql -u username -p database_name< split_file.*
在这个命令中,星号代表所有拆分的文件。
总之,导入大量数据到MySQL数据库需要一些技巧和小技巧。请遵循上述建议并进行适当的设置,以确保导入过程的成功。