开发环境 on heyaohua's Bloghttps://blog.heyaohua.com/tags/%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83/Recent content in 开发环境 on heyaohua's Blogheyaohua's Bloghttps://blog.heyaohua.com/og-image.pnghttps://blog.heyaohua.com/og-image.pngHugozh-cnTue, 19 Mar 2024 12:00:00 +0800Redis Docker开发环境配置指南https://blog.heyaohua.com/posts/2024/03/redis-docker-development-guide/Tue, 19 Mar 2024 12:00:00 +0800https://blog.heyaohua.com/posts/2024/03/redis-docker-development-guide/本文档详细介绍如何使用Docker搭建Redis开发环境，包括环境配置、启动方式、维护方法等内容。Redis Docker开发环境配置指南

本文档详细介绍如何使用Docker搭建Redis开发环境，包括环境配置、启动方式、维护方法等内容。

目录结构

Redis_Docker/
├── .env                # 环境变量配置文件
├── README.md          # 项目说明文档
├── config/            # 配置文件目录
│   └── redis.conf    # Redis配置文件
├── data/             # 数据存储目录
└── logs/             # 日志文件目录

配置文件说明

1. docker-compose.yml

version: '3.8'

services:
  redis:
    container_name: redis-server
    image: redis:7.2
    ports:
      - "${REDIS_PORT}:6379"
    volumes:
      - ./data:/data
      - ./logs:/var/log/redis
      - ./config/redis.conf:/usr/local/etc/redis/redis.conf
    command: redis-server /usr/local/etc/redis/redis.conf
    environment:
      - TZ=Asia/Shanghai
    networks:
      - redis-network
    healthcheck:
      test: ["CMD", "redis-cli", "ping"]
      interval: 10s
      timeout: 5s
      retries: 5
      start_period: 5s

networks:
  redis-network:
    driver: bridge

2. .env 环境变量配置

# Redis 配置环境变量
REDIS_PORT=6379           # Redis端口映射
REDIS_PASSWORD=your_password  # Redis访问密码

3. redis.conf 主要配置

# 网络设置
bind 0.0.0.0
port 6379
protected-mode yes
tcp-keepalive 300

# 基本设置
databases 16
loglevel notice
logfile "/var/log/redis/redis.log"

# 内存设置
maxmemory 256mb
maxmemory-policy allkeys-lru
maxmemory-samples 5

# 持久化设置
save 900 1      # 900秒内至少1个键被修改
save 300 10     # 300秒内至少10个键被修改
save 60 10000   # 60秒内至少10000个键被修改

# AOF设置
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec

使用说明

1. 启动服务

# 启动服务
docker-compose up -d

# 查看服务状态
docker-compose ps

# 查看日志
docker-compose logs redis

2. 连接Redis

# 使用容器内的redis-cli
docker-compose exec redis redis-cli -a your_password

# 使用主机的redis-cli（如果已安装）
redis-cli -h localhost -p 6379 -a your_password

# 测试连接
redis-cli -h localhost -p 6379 -a your_password ping

3. 停止服务

# 停止服务
docker-compose down

数据持久化

Redis配置了双重持久化机制：

1. RDB持久化

  • 文件位置：data/dump.rdb
  • 自动保存策略：
  • 900秒内至少1个键被修改
  • 300秒内至少10个键被修改
  • 60秒内至少10000个键被修改

2. AOF持久化

  • 文件位置：data/appendonly.aof
  • 同步策略：everysec（每秒同步）
  • 重写策略：auto-aof-rewrite-percentage 100

性能优化

1. 内存配置

  • maxmemory：设置为256MB
  • maxmemory-policy：使用allkeys-lru策略
  • maxmemory-samples：设置为5

2. 网络优化

  • tcp-keepalive：300秒
  • tcp-backlog：511

3. 持久化优化

  • appendfsync：everysec
  • no-appendfsync-on-rewrite：no

安全配置

1. 网络安全

  • protected-mode：启用
  • bind：0.0.0.0（允许所有IP访问）
  • requirepass：设置访问密码

2. 客户端限制

  • maxclients：10000
  • timeout：0（不自动断开空闲连接）

监控和维护

1. 性能监控

# 查看服务器信息
redis-cli -a your_password INFO

# 监控命令执行
redis-cli -a your_password MONITOR

# 查看慢查询日志
redis-cli -a your_password SLOWLOG GET

2. 内存分析

# 查看内存使用情况
redis-cli -a your_password INFO memory

# 查看大键
redis-cli -a your_password --bigkeys

3. 数据备份

# 手动触发RDB备份
redis-cli -a your_password SAVE

# 异步触发RDB备份
redis-cli -a your_password BGSAVE

常见问题处理

1. 连接失败

  • 检查密码是否正确
  • 确认端口映射是否正确
  • 验证Redis服务是否正常运行

2. 内存问题

  • 检查maxmemory设置
  • 查看内存使用情况
  • 考虑调整内存策略

3. 持久化问题

  • 检查磁盘空间
  • 查看AOF/RDB文件状态
  • 确认写入权限

最佳实践

1. 安全建议

  • 使用强密码
  • 限制可访问的IP
  • 定期更新Redis版本

2. 性能建议

  • 合理设置内存上限
  • 选择适当的持久化策略
  • 监控慢查询

3. 运维建议

  • 定期备份数据
  • 监控系统资源
  • 保持日志分析
]]>PostgreSQL Docker开发环境配置指南https://blog.heyaohua.com/posts/2024/03/postgresql-docker-development-guide/Tue, 19 Mar 2024 11:30:00 +0800https://blog.heyaohua.com/posts/2024/03/postgresql-docker-development-guide/本文档详细介绍如何使用Docker搭建PostgreSQL开发环境，包括环境配置、启动方式、维护方法等内容。PostgreSQL Docker开发环境配置指南

本文档详细介绍如何使用Docker搭建PostgreSQL开发环境，包括环境配置、启动方式、维护方法等内容。

目录结构

PgSQL_Docker/
├── .env                  # 环境变量配置文件
├── README.md            # 项目说明文档
├── config/              # 配置文件目录
│   ├── pg_hba.conf     # 访问控制配置
│   └── postgresql.conf  # PostgreSQL主配置文件
├── data/               # 数据存储目录
└── logs/               # 日志文件目录

配置文件说明

1. docker-compose.yml

version: '3.8'

services:
  postgres:
    container_name: postgres-server
    image: postgres:15
    environment:
      - POSTGRES_DB=${POSTGRES_DB}
      - POSTGRES_USER=${POSTGRES_USER}
      - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
    ports:
      - "${POSTGRES_PORT}:5432"
    volumes:
      - ./data:/var/lib/postgresql/data
      - ./logs:/var/log/postgresql
      - ./config/postgresql.conf:/etc/postgresql/postgresql.conf
      - ./config/pg_hba.conf:/etc/postgresql/pg_hba.conf
    command: postgres -c 'config_file=/etc/postgresql/postgresql.conf'
    networks:
      - postgres-network
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U ${POSTGRES_USER} -d ${POSTGRES_DB}"]
      interval: 10s
      timeout: 5s
      retries: 5
      start_period: 10s

networks:
  postgres-network:
    driver: bridge

2. .env 环境变量配置

# PostgreSQL 配置环境变量
POSTGRES_DB=test_db           # 数据库名称
POSTGRES_USER=data           # 默认超级用户
POSTGRES_PASSWORD=your_password  # 用户密码
POSTGRES_PORT=5432          # 端口映射

3. postgresql.conf 主要配置

# 连接设置
listen_addresses = '*'
port = 5432
max_connections = 100

# 内存设置
shared_buffers = 128MB
work_mem = 4MB
maintenance_work_mem = 64MB
effective_cache_size = 512MB

# 写入设置
wal_level = replica
max_wal_size = 1GB
min_wal_size = 80MB

# 日志设置
log_destination = 'stderr'
logging_collector = on
log_directory = '/var/log/postgresql'
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'
log_rotation_age = 1d
log_rotation_size = 10MB

# 区域设置
datestyle = 'iso, mdy'
timezone = 'UTC'
lc_messages = 'en_US.utf8'

4. pg_hba.conf 访问控制配置

# TYPE  DATABASE        USER            ADDRESS                 METHOD
local   all            all                                     trust
host    all            all             127.0.0.1/32           scram-sha-256
host    all            all             ::1/128                scram-sha-256
host    all            all             0.0.0.0/0              scram-sha-256

使用说明

1. 启动服务

# 启动服务
docker-compose up -d

# 查看服务状态
docker-compose ps

# 查看日志
docker-compose logs postgres

2. 连接数据库

# 使用超级用户连接
docker-compose exec postgres psql -U data -d test_db

# 查看用户列表和权限
\du

# 查看数据库列表
\l

# 退出psql
\q

3. 停止服务

# 停止服务
docker-compose down

用户和权限管理

PostgreSQL使用角色（Role）概念来管理用户权限。在我们的配置中：

  1. 通过POSTGRES_USER环境变量创建的用户（本例中为"data"）是超级用户，具有所有权限：
  2. Superuser（超级用户权限）
  3. Create role（创建角色权限）
  4. Create DB（创建数据库权限）
  5. Replication（复制权限）

Bypass RLS（绕过行级安全性）

创建新用户示例：

CREATE ROLE username WITH LOGIN PASSWORD 'password';
  1. 授予权限示例：
GRANT ALL PRIVILEGES ON DATABASE dbname TO username;

数据备份和恢复

备份数据

# 备份整个数据库
docker-compose exec postgres pg_dump -U data test_db > backup.sql

# 备份特定表
docker-compose exec postgres pg_dump -U data -t table_name test_db > table_backup.sql

恢复数据

# 恢复数据
docker-compose exec -T postgres psql -U data test_db < backup.sql

性能优化建议

  1. 内存配置
  2. shared_buffers: 建议设置为系统内存的25%
  3. effective_cache_size: 建议设置为系统内存的50%

work_mem: 根据并发连接数调整

写入性能

  1. wal_buffers: 建议设置为16MB
  2. checkpoint_timeout: 可根据写入压力调整

max_wal_size: 根据磁盘空间调整

连接池

  1. 建议使用pgBouncer等连接池管理工具
  2. 避免频繁创建新连接

常见问题处理

  1. 容器无法启动
  2. 检查端口占用：lsof -i :5432
  3. 检查配置文件权限

查看错误日志：docker-compose logs postgres

连接失败

  1. 确认用户名和密码正确
  2. 检查pg_hba.conf配置

验证网络连接

性能问题

  1. 检查慢查询日志
  2. 使用EXPLAIN分析查询计划
  3. 优化索引和查询语句

安全建议

  1. 密码安全
  2. 使用强密码
  3. 定期更换密码

避免在命令行中明文输入密码

网络安全

  1. 限制访问IP
  2. 使用SSL连接

定期更新PostgreSQL版本

权限控制

  1. 遵循最小权限原则
  2. 使用角色管理权限
  3. 启用行级安全性（RLS）

维护建议

  1. 定期维护
  2. 执行VACUUM操作
  3. 更新统计信息

检查日志文件大小

监控

  1. 监控连接数
  2. 监控磁盘使用

监控查询性能

备份策略

  1. 定期备份
  2. 测试恢复流程
]]>MySQL Docker开发环境配置指南https://blog.heyaohua.com/posts/2024/03/mysql-docker-development-guide/Tue, 19 Mar 2024 11:00:00 +0800https://blog.heyaohua.com/posts/2024/03/mysql-docker-development-guide/重要配置说明： - - 容器异常退出时自动重启 - - 环境变量配置，支持从.env文件读取 - - 数据持久化配置，确保数据安全 - - 端口映射，允 …如何使用Docker启动MySQL开发环境

目录结构

MySQL_Docker/
├── docker-compose.yml    # Docker Compose 配置文件
├── .env                 # 环境变量配置
├── config/
│   └── my.cnf          # MySQL 配置文件
├── data/               # MySQL 数据目录 (挂载)
└── logs/               # MySQL 日志目录 (挂载)

配置文件说明

1. docker-compose.yml 配置要点

version: '3.8'
services:
  mysql:
    image: mysql:8.0
    container_name: mysql-server
    restart: unless-stopped
    environment:
      MYSQL_ROOT_PASSWORD: ${MYSQL_ROOT_PASSWORD:-root123}
      MYSQL_DATABASE: ${MYSQL_DATABASE:-testdb}
      MYSQL_USER: ${MYSQL_USER:-testuser}
      MYSQL_PASSWORD: ${MYSQL_PASSWORD:-testpass}
    ports:
      - "${MYSQL_PORT:-3306}:3306"
    volumes:
      - ./data:/var/lib/mysql
      - ./logs:/var/log/mysql
      - ./config/my.cnf:/etc/mysql/conf.d/my.cnf

重要配置说明：

  • restart: unless-stopped - 容器异常退出时自动重启
  • environment - 环境变量配置，支持从.env文件读取
  • volumes - 数据持久化配置，确保数据安全
  • ports - 端口映射，允许外部访问

2. MySQL配置文件 (my.cnf) 要点

[mysqld]
# 基本设置
port = 3306
bind-address = 0.0.0.0
default-storage-engine = InnoDB

# 字符集设置（重要）
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

# 连接设置
max_connections = 200
max_connect_errors = 10

# 缓冲区设置
innodb_buffer_pool_size = 256M
innodb_log_file_size = 64M
innodb_log_buffer_size = 16M

# 日志设置
log-error = /var/log/mysql/error.log
slow_query_log = 1
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 2

配置注意事项：

  1. 字符集必须设置为utf8mb4，以支持完整的Unicode字符集
  2. 根据服务器内存调整缓冲区大小
  3. 开启慢查询日志便于性能优化
  4. MySQL 8.0已不支持查询缓存（query_cache）相关配置

3. 环境变量配置 (.env)

MYSQL_ROOT_PASSWORD=your_root_password
MYSQL_DATABASE=your_database
MYSQL_USER=your_user
MYSQL_PASSWORD=your_password
MYSQL_PORT=3306

安全注意事项：

  • 生产环境必须修改默认密码
  • .env文件不要提交到版本控制系统
  • 定期更换密码
  • 避免使用弱密码

启动和维护

启动服务

docker-compose up -d

查看服务状态

docker-compose ps

查看日志

# 查看容器日志
docker-compose logs mysql

# 查看错误日志
tail -f logs/error.log

# 查看慢查询日志
tail -f logs/slow.log

停止服务

docker-compose down

常见问题处理

1. 容器无法启动或反复重启

  • 检查数据目录权限
  • 查看错误日志（logs/error.log）
  • 确认配置文件语法正确
  • 验证端口是否被占用

2. 连接失败

  • 确认容器运行状态
  • 检查端口映射
  • 验证用户名密码
  • 检查防火墙设置

3. 性能问题

  • 检查慢查询日志
  • 调整缓冲区大小
  • 优化索引
  • 监控资源使用情况

数据备份建议

1. 使用docker-compose执行备份

docker-compose exec mysql mysqldump -u root -p database_name > backup.sql

2. 自动备份脚本示例

#!/bin/bash
backup_dir="backups"
date_format=$(date +%Y%m%d_%H%M%S)
docker-compose exec -T mysql mysqldump -u root -p database_name > "${backup_dir}/backup_${date_format}.sql"

安全建议

  1. 网络安全
  2. 限制端口访问
  3. 使用专用网络

启用SSL/TLS加密

账户安全

  1. 定期更换密码
  2. 限制用户权限

删除未使用的账户

数据安全

  1. 定期备份
  2. 加密敏感数据
  3. 监控异常访问

性能优化建议

  1. 硬件资源
  2. 适当分配内存
  3. 使用SSD存储

监控CPU使用率

配置优化

  1. 调整缓冲池大小
  2. 优化日志设置

配置合适的连接数

查询优化

  1. 建立合适的索引
  2. 优化SQL语句
  3. 定期维护统计信息
]]>