작년 11월 30일 KTH에서 주최한 H3 컨퍼런스에서 DB 관련 발표 동영상입니다.
Category: MySQL
MySQL 블로그
MySQL Replication 이해(1) – 개념
Overview
오늘은 조금더 제너럴한 주제를 가지고 정리를 할까합니다.
바로 MySQL Replication 입니다. MySQL Community에서 유일하게 HA 또는 분산 구성을 할 수 있는 유일한 기능입니다. 물론 “MySQL+DRBD 구성”와 같이 HA를 구성하는 방법도 있습니다만, MySQL 제품이 아니므로 스킵~!
먼저 Replication에 대해 간략하게 말씀 드리겠습니다.
MySQL Replication이란?
MySQL Replication이란 말 그대로 복제입니다. 영어 사전에 나온 듯한 DNA는 아니지만 데이터를 “물리적으로 다른 서버의 저장 공간” 안에 동일한 데이터를 복사하는 기술이죠.
다음 그림은 MySQL Replication을 가장 간단하게 나타낸 그림입니다. 데이터 변경을 마스터 장비에서만 수행하기 때문에 마스터 장애 시에는 전체 노드에 데이터 쓰기 작업이 불가능한 한계가 있습니다.
아래 그림은 MySQL Replication과 Oracle RAC스토리지 구조를 가장 간단하게 묘사한 그림입니다.
MySQL복제라는 말과 같이, 디스크를 독립적으로 분리하여 데이터를 유지합니다.
이에 반해 오라클은 RAC 구성 시에는 공유 스토리지(SAN,iSCSI) 장비를 중간에 두고 DB를 이중화 합니다. 엄격하게 다시 말하자면, “MySQL Replication은 데이터를 이중화”하는 것이고, “Oracle RAC는 DB를 이중화하는 개념”입니다.
MySQL은 오직 단일 마스터에서만 데이터 변경 작업을 수행할 수 있고, Oracle은 하나의 스토리지를 중간에 두고 여러 노드에서 데이터 변경 작업이 일어날 수 있습니다. 그렇기 때문에 MySQL에서는 쓰기 부하 분산은 불가능하지만, 읽기 부하 분산은 가능합니다. 그리고 특정 노드 디스크 장애가 전체 데이터 유실로 이어지지 않습니다. 데이터는 “복제”되니까요. Oracle은 어느정도의 읽기/쓰기 부하 분산은 가능하지만 공유 스토리지를 쓰는 만큼 스토리지 장애에는 상당히 취약합니다. 어디까지나, 일반 구성 시 비교를 한 것임을 알아주세요^^
마스터, 슬레이브 간 Data 복제 방법
MySQL Replication은 로그 기반으로 비동기적으로 데이터를 복제합니다. 마스터에서는 데이터 변경 작업이 수행되면 Binary Log라는 곳에 이력을 기록을 하는데, Statement, Row 그리고 Mixed 등 세 가지 방식이 있습니다.
Statement-based Type
MySQL 3.23 이후로 도입된 방식
실행된 SQL을 그대로 Binary Log에 기록
Binary Log 사이즈는 작으나, SQL 에 따라 결과가 달라질 수 있음
(Time Function, UUID, User Defined Function)
Row-based Type
MySQL 5.1부터 도입된 방식
변경된 행을 BASE64로 Encoding하여 Binary Log에 기록
특정 SQL이 변경하는 행 수가 많은 경우 Binary Log 사이즈가 비약적으로 커질 수 있음
Mixed Type (Statement + Row)
기본적으로 Statement-Based Type으로 기록되나, 경우에 따라 Row-base Type으로 Binary Log에 기록
그렇다면 복제는 어떤 방식으로 이뤄질까요? 아래 그림으로 설명 드리겠습니다.
- Master에서 데이터 변경이 일어나면 자신의 데이터베이스에 반영합니다.
- Master에서 변경된 이력을 Binary Log에 기록 후 관련 이벤트를 날립니다.
- Slave IO_THREAD에서 Master 이벤트를 감지하고,
Master Binary Log 자신의 Relay Log라는 곳에 기록을 합니다. - Slave SQL_THREAD는 Relay Log를 읽고 자신의 데이터베이스에 기록을 합니다. (4,5단계)
기억해야할 사항은 마스터에서는 여러 세션에서 데이터 변경 처리가 가능하지만, 슬레이브에서는 오직 하나 SQL Thread에서만 데이터 변경 처리가 가능한 점입니다. 그렇기 때문에 마스터에 데이터 변경 트래픽이 과도하게 몰리게 되면 마스터/슬레이브 간 데이터 동기화 시간이 크게 벌어질 수도 있습니다.
마치며..
리플리케이션을 잘 활용하면, 부하분산 뿐만 아니라 고가용성 그리고 버전 테스트 등 여러 분야에 멋지게 사용할 수 있습니다. 차근차근 이러한 내용을 정리해서 포스팅하도록 하겠습니다.
일단, 다음 번에는 실제 리플리케이션 구성 방법에 대해서 먼저 진행할께요^^
좋은 하루 되세요~!
리눅스에 MySQL 설치하기(CentOS 5.6)
MySQL DBMS 를 설치할 때 제가 적용하는 내용을 공유합니다.
root 계정으로 설치 준비를 하고, mysql 계정으로 DB를 구동합니다.
일단 하단 내용들은 root계정으로 수행을 합니다.
root 계정으로 설치 준비를 하고, mysql 계정으로 DB를 구동합니다.
일단 하단 내용들은 root계정으로 수행을 합니다.
OS 계정 추가
다음과 같이 dba 그룹을 추가하고 그 밑에 mysql 계정을 추가합니다.
groupadd -g 600 dba useradd -g 600 -u 605 mysql passwd mysql
Linux 설정 변경
세션 Limit 를 설정합니다.
vi /etc/security/limits.conf ##하단 내용 추가 mysql soft nproc 8192 mysql hard nproc 16384 mysql soft nofile 8192 mysql hard nofile 65536
OS에서 limits.conf 파일을 읽어들이도록 설정합니다. 없으면 생성합니다.
vi /etc/pam.d/login ## 하단 내용 추가 session required pam_limits.so
/etc/profile 에 다음 내용을 추가하여 login 시 적용되도록 합니다.
vi /etc/profile
##
if [ $USER = "mysql" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
MySQL 데이터 저장 디렉토리를 생성합니다.
mkdir -p /data/mysql/mysql-data mkdir -p /data/mysql/mysql-tmp mkdir -p /data/mysql/mysql-iblog mkdir -p /data/mysql/mysql-binlog
MySQL 설치 파일 다운로드
하단 실행 시 x86_64 가 있으면 64비트이고, i686 이 있으면 32비트입니다.
## OS 버전 확인 ## uname -a Linux ..중략.. EDT 2010 x86_64 x86_64 x86_64 GNU/Linux
이제 MySQL Download 의 “Linux – Generic” 탭에서 자신의 OS에 맞는 MySQL Server 받으세요. 현재 Release되는 주 버전은 MySQL 5.5.x이나, 여기서는 MySQL 5.1.57 64비트 버전으로 설명드리겠습니다.
굴욕적이지만, 한국보다는 일본 mirror서버에서 받는 것이 빠르다는..-_-;;
cd /usr/local/ ## 설치 파일 다운로드 wget http://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.19-linux2.6-x86_64.tar.gz/from/http://ftp.iij.ad.jp/pub/db/mysql/
MySQL 기본 설정
시스템에 따라 데이터 파일과 같은 일부 변수 값이 달라질 수 있으니, 자신의 시스템에 맞게 수정해서 사용하세요.
vi /etc/my.cnf
[client] port = 3306 socket = /tmp/mysql.sock [mysqld] # generic configuration options port = 3306 socket = /tmp/mysql.sock back_log = 100 max_connections = 500 max_connect_errors = 10 table_open_cache = 2048 max_allowed_packet = 16M join_buffer_size = 8M read_buffer_size = 2M read_rnd_buffer_size = 16M sort_buffer_size = 8M bulk_insert_buffer_size = 16M thread_cache_size = 128 thread_concurrency = 16 query_cache_type = 0 default_storage_engine = innodb thread_stack = 192K lower_case_table_names = 1 max_heap_table_size = 128M tmp_table_size = 128M local_infile = 0 max_prepared_stmt_count = 256K event_scheduler = ON log_bin_trust_function_creators = 1 secure_auth = 1 skip_external_locking skip_symbolic_links #skip_name_resolve ## config server and data path basedir = /usr/local/mysql datadir = /data/mysql/mysql-data tmpdir = /data/mysql/mysql-tmp log_bin = /data/mysql/mysql-binlog/mysql-bin relay_log = /data/mysql/mysql-binlog/mysql-relay innodb_data_home_dir = /data/mysql/mysql-data innodb_log_group_home_dir = /data/mysql/mysql-iblog ## config character set ##utf8 character_set_client_handshake = FALSE character_set_server = utf8 collation_server = utf8_general_ci init_connect = "SET collation_connection = utf8_general_ci" init_connect = "SET NAMES utf8" ## bin log binlog_format = row binlog_cache_size = 4M ## Replication related settings server_id = 1 expire_logs_days = 7 slave_net_timeout = 60 log_slave_updates #read_only ## MyISAM Specific options key_buffer_size = 32M myisam_sort_buffer_size = 8M myisam_max_sort_file_size = 16M myisam_repair_threads = 1 myisam_recover = FORCE,BACKUP # *** INNODB Specific options *** innodb_additional_mem_pool_size = 16M innodb_buffer_pool_size = 2G innodb_data_file_path = ibdata1:1G:autoextend innodb_file_per_table = 1 innodb_thread_concurrency = 16 innodb_flush_log_at_trx_commit = 2 innodb_log_buffer_size = 8M innodb_log_file_size = 128M innodb_log_files_in_group = 3 innodb_max_dirty_pages_pct = 90 innodb_flush_method = O_DIRECT innodb_lock_wait_timeout = 120 innodb_support_xa = 0 innodb_file_io_threads = 8 [mysqldump] quick max_allowed_packet = 16M [mysql] no_auto_rehash [myisamchk] key_buffer_size = 512M sort_buffer_size = 512M read_buffer = 8M write_buffer = 8M [mysqlhotcopy] interactive_timeout [mysqld_safe] open_files_limit = 8192
MySQL Server 설치
## 압축 해제 cd /usr/local tar xzvf mysql-5.5.19-linux2.6-x86_64.tar.gz ## 관리를 위한 심볼릭 링크 생성 ln -s mysql-5.5.19-linux2.6-x86_64 mysql ## 설치 파일 권한 변경 chown -R mysql.dba /usr/local/mysql* ## 시작 스크립트 복사 cp mysql/support-files/mysql.server /etc/init.d/mysqld ## 관련 파일 권한 설정 chown mysql.dba /data/mysql/* chown mysql.dba /etc/my.cnf chown mysql.dba /usr/local/mysql*
여기서부터는 이제 mysql 계정으로 실행을 합니다.
관리를 위해서 몇몇 alias를 설정하는 부분입니다.^^
su - mysql cat >> ~/.bash_profile ## 하단 내용 입력 export MYSQL_HOME=/usr/local/mysql export PATH=$PATH:$MYSQL_HOME/bin:. export ADMIN_PWD="ROOT 패스워드" alias ll="ls -al --color=auto" alias mydba="mysql -uroot -p$ADMIN_PWD" alias mymaster="mysql -uroot -p$ADMIN_PWD -e'show master status;'" alias myslave="mysql -uroot -p$ADMIN_PWD -e'show slave status\G'" alias mh="cd $MYSQL_HOME" alias md="cd /data/mysql/mysql-data" alias mt="cd /data/mysql/mysql-tmp" alias mb="cd /data/mysql/mysql-binlog" alias mi="cd /data/mysql/mysql-data" alias dp="cd /data/mysql/mysql-data" ## 환경 변수 적용 . ~/.bash_profile
MySQL Server 구동
cd /usr/local/mysql ## 기본 데이터베이스 설치 ./scripts/mysql_install_db ## MySQL 데몬 Startup /etc/init.d/mysqld start
MySQL 보안 설정
처음 DB를 올리면 보안 면에서 취약한 부분이 있습니다.
기본적인 보안 정책을 적용하도록 합니다.
mysql root 계정 패스워드만 설정하고 나머지는 Enter만 쭉 치면 됩니다.
cd /usr/local/mysql ./bin/mysql_secure_installation
NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MySQL SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY! In order to log into MySQL to secure it, we'll need the current password for the root user. If you've just installed MySQL, and you haven't set the root password yet, the password will be blank, so you should just press enter here. Enter current password for root (enter for none): OK, successfully used password, moving on... Setting the root password ensures that nobody can log into the MySQL root user without the proper authorisation. Change the root password? [Y/n] New password: Re-enter new password: Password updated successfully! Reloading privilege tables.. ... Success! By default, a MySQL installation has an anonymous user, allowing anyone to log into MySQL without having to have a user account created for them. This is intended only for testing, and to make the installation go a bit smoother. You should remove them before moving into a production environment. Remove anonymous users? [Y/n] ... Success! Normally, root should only be allowed to connect from 'localhost'. This ensures that someone cannot guess at the root password from the network. Disallow root login remotely? [Y/n] ... Success! By default, MySQL comes with a database named 'test' that anyone can access. This is also intended only for testing, and should be removed before moving into a production environment. Remove test database and access to it? [Y/n] - Dropping test database... ERROR 1008 (HY000) at line 1: Can't drop database 'test'; database doesn't exist ... Failed! Not critical, keep moving... - Removing privileges on test database... ... Success! Reloading the privilege tables will ensure that all changes made so far will take effect immediately. Reload privilege tables now? [Y/n] ... Success! Cleaning up... All done! If you've completed all of the above steps, your MySQL installation should now be secure.
이제 MySQL DB 설치가 다 끝났습니다. 참 쉽죠잉~!^^