网站开发要什么专业网站域名行业动态

前言

此处主要作为科普帖进行记录

原先Java处理海量数据的导入时，由于接口超时，数据处理不过来，后续转为Navicat

Navicat 是一款功能强大的数据库管理工具，支持多种数据库系统（如 MySQL、PostgreSQL、SQLite、Oracle 等）
它提供便捷的数据导入功能，可以将 Excel 数据导入到数据库中

Navicat 提供了数据库的连接管理、数据表操作、数据导入导出等功能。数据对于导入，它支持从多种文件格式（如 Excel、CSV、JSON 等）导入数据到数据库中

注意事项：

• 数据格式：确保 Excel 文件中的数据格式与数据库表的字段类型一致。例如，日期字段应为日期格式，数字字段应为数字格式
• 性能优化：对于海量数据，建议先对数据进行清洗和预处理，去除重复数据和无效数据
• 错误处理：如果导入过程中出现错误，Navicat 会记录错误信息。可以根据错误提示进行排查，例如字段映射错误、数据格式不匹配等
• 备份数据：在导入数据之前，建议备份目标数据库，以防数据导入过程中出现问题导致数据丢失

正文

点击数据库表右键导入向导

选择数据源（注意事项如下）

1. Excel的数据需要整理完好，比如id自增字段，增加一行空列！
2. 非空的列 可以在数据库上设置一个默认值，或者 直接在Excel中插入相关数据；如果数据不重要，可以再导入前设置为空，待导入之后，将其修改完毕

附加选项

选择对应的sheet表

选择相关的映射字段

导入模式选择

直接导入（由于Excel的数据清洗有个别缺失，数据字典没有转化好，导致有几百条出错！）

以及