PostgreSQL + MyBatis 批量操作实战：从插入到冲突处理的完整指南

PostgreSQL + MyBatis 批量操作实战：从插入到冲突处理的完整指南

如果你是一位长期与数据打交道的Java开发者，大概率经历过这样的场景：一个定时任务需要处理数万条用户行为日志，或者一个数据同步接口需要将上游的批量订单信息落库。最初，你可能会写一个简单的循环，在for循环里一次次调用Mapper.insert。程序运行起来，看着控制台缓慢滚动的日志，你开始计算时间——这得跑到什么时候？数据库连接池的压力、网络往返的开销、事务日志的写入，每一个环节都在拖慢整个系统的效率。这时，批量操作就不再是一个可选的优化项，而是必须掌握的核心技能。

尤其是在处理像用户画像分析、电商订单流水、物联网设备上报数据这类海量数据场景时，单条操作的性能瓶颈会被急剧放大。PostgreSQL作为功能强大的开源关系型数据库，提供了丰富的SQL语法来支持高效的批量数据处理。而MyBatis作为Java领域最受欢迎的持久层框架，其灵活性让我们能够将这些强大的数据库能力无缝集成到应用中。但仅仅知道INSERT INTO ... VALUES (), (), ()是不够的，真实世界的数据往往伴随着重复、冲突和复杂的更新逻辑。如何优雅且高效地处理这些情况，正是区分普通开发者和资深架构师的一道分水岭。

本文将从实战角度出发，抛开那些教科书式的简单示例，深入探讨在PostgreSQL与MyBatis组合下，进行高性能批量操作的完整技术栈。我们会从最基础的批量插入讲起，逐步深入到利用PostgreSQL独有的ON CONFLICT子句来处理数据冲突，涵盖“忽略”与“更新”两种核心策略。同时，我们也会剖析批量更新的一种高效写法，并讨论在不同数据量级和并发场景下的选型考量与避坑指南。无论你是正在为缓慢的数据导入接口寻找优化方案，还是希望构建一个健壮的、能应对数据重复问题的异步处理系统，接下来的内容都将提供可直接落地的解决方案。

1. 环境搭建与数据模型设计

在深入代码之前，搭建一个清晰、可复现的本地实验环境至关重要。这里我们不使用任何复杂的云服务或容器编排，仅用最简洁的方式构建一个Spring Boot项目，并明确我们的数据模型。

首先，通过Spring Initializr创建一个新项目，依赖选择：

• Spring Web (用于构建简单的测试接口)
• MyBatis Framework
• PostgreSQL Driver

项目的pom.xml中，确保MyBatis的版本较新（如3.5.10+），以获得更好的稳定性和功能支持。

接下来是数据库表设计。我们以一个t_user_operation_log（用户操作日志）表为例，它比简单的“书籍”模型更贴近实际业务场景，包含自增ID、用户标识、操作类型、操作资源、时间戳以及一个可扩展的详情JSON字段。

-- 创建用户操作日志表
CREATE TABLE t_user_operation_log (
    id BIGSERIAL PRIMARY KEY,
    user_id VARCHAR(32) NOT NULL COMMENT '用户ID',
    operation_type VARCHAR(50) NOT NULL COMMENT '操作类型，如LOGIN、ORDER、VIEW',
    resource_id VARCHAR(100) COMMENT '操作关联的资源ID',
    detail JSONB DEFAULT NULL COMMENT '操作详情，JSON格式',
    client_ip INET COMMENT '客户端IP地址',
    created_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    updated_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP
);

-- 为常见查询条件创建索引
CREATE INDEX idx_log_user_time ON t_user_operation_log(user_id, created_time DESC);
CREATE INDEX idx_log_op_type ON t_user_operation_log(operation_type);
CREATE INDEX idx_log_resource ON t_user_operation_log(resource_id) WHERE resource_id IS NOT NULL;

-- 创建一个唯一约束，用于后续演示冲突处理
-- 假设我们要求同一个用户在同一秒内对同一资源的相同操作只记录一次（示例性约束，实际可能更复杂）
CREATE UNIQUE INDEX udx_user_op_unique ON t_user_operation_log(user_id, operation_type, resource_id, DATE_TRUNC('second', created_time));

对应的Java实体类UserOperationLog如下。注意，我们使用了Jsonb类型来映射PostgreSQL的JSONB字段，这需要额外的类型处理器（如com.fasterxml.jackson.databind.JsonNode或自定义类）。

import com.fasterxml.jackson.databind.JsonNode;
import lombok.Data;
import java.time.LocalDateTime;

@Data
public class UserOperationLog {
    private Long id;
    private String userId;
    private String operationType;
    private String resourceId;
    private JsonNode detail; // 使用Jackson的JsonNode处理JSONB
    private String clientIp;
    private LocalDateTime createdTime;
    private LocalDateTime update