GitHub

https://github.com/call518/OpenStack-on-Kubernetes

Greetings

Hi! all, Welcome to my project. I hope this will be useful thing. :)

p.s. And I hope that some guy help me. If you are interested in this, please contact me. thank you.

Intro

• OaaS is "OpenStack as a Service".

• MAINTAINER: Jung-In.Jung (call518@gmail.com)

• 2018-06-20 ~ Now

Goals

• Auto-Provisioning OpenStack, Based on Kubernetes(k8s).
• Scalaing for LB/HA.
• Supoort Provisioning Almost OpenStack Releases. (Newton/Ocata/Pike/Queens/...)
• Simple and Dynamic Configuration.
• Auto Failover/Failback.

Components Diagram

Networking Diagram

Progress

• Ocata
  • memcached (Completed)
  • rabbitmq (Completed)
  • mongodb (Completed)
  • etcd (Completed)
  • galera (Completed)
  • haproxy (Completed)
  • keystone (Completed)
  • glance (Completed)
  • nova (Completed)
  • neutron (Completed)
  • cinder (Completed)
  • heat (Completed)
  • ceilometer-central (Completed)
  • aodh (Completed)
  • horizon (Completed)
• Integration of OpenStack Releases.
  • (TODO: Planning...)

Tutorial

System Env. & Arch.

Requirements.

• General Kubernetes Cluster.
  • kubernetes Installation guide
• All k8s Worker nodes have to sync Time (e.g. chrony, ntp)
• k8s worker nodes for neutron-server/nova-compute need to load openvswitch/ebtables/ip_vs kernel module.
  • Run contents of host_kernel_modules_for_oaas.sh on compute/network role(label) woker nodes.
• Quorum PODs (Replica is have to 2n+1)
  • galera-etcd
  • galera
  • rabbitmq

Env.

(Note) We have tested this tutorial with 6 VMs on VirtualBox Env. If u want, any env is possible. (eg. physical machines)

(Note) We use NFS for cinder backend storage for simple tutorial, but soon we will change to ceph back-end storage.

Spec. of Physical Host

• Processor: Intel Core i5-6500 (3.2GHz)
• Memory: 32GB
• Storage: SSD (2TB)
• NIC: Intel(R) Ethernet Connection (5) I219-LM

Spec. of each VM

(Note) Maybe, you need big RAM. if not, reduce number of replicas.

• CentOS-7 x86_64
• 2 EA vCPUs
• vRAM: 2GB ~ 6GB
• 100 GB vDisk
• 1 EA NIC

Spec. of k8s

This is versions of packages that i have tested.

• docker-ce-18.06.0.ce-3.el7.x86_64
• kubernetes-cni-0.6.0-0.x86_64
• kubectl-1.11.1-0.x86_64
• kubelet-1.11.1-0.x86_64
• kubeadm-1.11.1-0.x86_64

VM OS Env.

/etc/hosts

# cat /etc/hosts

192.168.0.150 k8s-master
192.168.0.151 k8s-node01
192.168.0.152 k8s-node02
192.168.0.153 k8s-node03
192.168.0.154 k8s-node04
192.168.0.155 k8s-node05

Deploy Tutorial

Node Labels (Role)

(!) Network(neutron-sever) worker nodes must be separated/dedicated. (network=true)

[k8s-master]# kubectl get node --show-labels

NAME         STATUS    ROLES     AGE       VERSION   LABELS
k8s-master   Ready     master    8d        v1.11.1   node-role.kubernetes.io/master=
k8s-node01   Ready     <none>    8d        v1.11.1   controller=true,compute=true,nfs-server=true
k8s-node02   Ready     <none>    8d        v1.11.1   controller=true,compute=true
k8s-node03   Ready     <none>    8d        v1.11.1   controller=true,compute=true
k8s-node04   Ready     <none>    8d        v1.11.1   network=true
k8s-node05   Ready     <none>    8d        v1.11.1   network=true

default configs (eg. password)

check main env file, src-ocata/configMap-env-common.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: env-common
data:
  K8S_OPENSTACK_RELEASE: "ocata"
  MYSQL_ROOT_PASSWORD: "passw0rd"
  DISCOVERY_SERVICE: "etcd-client:2379"
  XTRABACKUP_PASSWORD: "passw0rd"
  CLUSTER_NAME: "mariadb_galera_ss"
  #MYSQL_DATABASE: "mydatabase"
  #MYSQL_USER: "myuser"
  MYSQL_PASSWORD: "passw0rd"
  K8S_MONGO_USER: "admin"
  K8S_MONGO_PASS: "passw0rd"
  K8S_KEYSTONE_DB_PASS: "passw0rd"
  K8S_GLANCE_DB_PASS: "passw0rd"
  K8S_CINDER_DB_PASS: "passw0rd"
  K8S_NEUTRON_DB_PASS: "passw0rd"
  K8S_NOVA_DB_PASS: "passw0rd"
  K8S_GNOCCHI_DB_PASS: "passw0rd"
  K8S_AODH_DB_PASS: "passw0rd"
  K8S_HEAT_DB_PASS: "passw0rd"
  K8S_KEYSTONE_USER_ADMIN_PASS: "passw0rd"
  K8S_KEYSTONE_USER_DEMO_PASS: "demo"
  K8S_KEYSTONE_USER_GLANCE_PASS: "passw0rd"
  K8S_KEYSTONE_USER_CINDER_PASS: "passw0rd"
  K8S_KEYSTONE_USER_NEUTRON_PASS: "passw0rd"
  K8S_KEYSTONE_USER_NOVA_PASS: "passw0rd"
  K8S_KEYSTONE_USER_PLACEMENT_PASS: "passw0rd"
  K8S_KEYSTONE_USER_GNOCCHI_PASS: "passw0rd"
  K8S_KEYSTONE_USER_CEILOMETER_PASS: "passw0rd"
  K8S_KEYSTONE_USER_AODH_PASS: "passw0rd"
  K8S_KEYSTONE_USER_HEAT_PASS: "passw0rd"
  K8S_HAPROXY_STATS_USERNAME: "admin"
  K8S_HAPROXY_STATS_PASSWORD: "passw0rd"
  K8S_RABBITMQ_ADMIN_USER: "admin"
  K8S_RABBITMQ_ADMIN_PASS: "passw0rd"
  K8S_RABBITMQ_OPENSTACK_USER: "openstack"
  K8S_RABBITMQ_OPENSTACK_PASS: "passw0rd"
  K8S_METADATA_PROXY_SHARED_SECRET: "QU6muuXhU4oAeLzDas6obGsDtoFNZTHq"
  K8S_NFS_SERVER_IP_ETC_KEY: "k8s-oaas-nfs-server-ip-address"
  K8S_EXT_SUBNET_CIDR: "192.168.100.0/24"
  K8S_EXT_SUBNET_POOL_START: "192.168.100.101"
  K8S_EXT_SUBNET_POOL_END: "192.168.100.200"
  K8S_EXT_SUBNET_GW: "192.168.100.1"
  K8S_DEMO_SUBNET_CIDR: "172.16.0.0/24"
  K8S_DEMO_SUBNET_GW: "172.16.0.1"
  K8S_DEMO_SUBNET_DNS: "8.8.8.8"

Required Docker Images.

• call518/oaas-init-container
• call518/oaas-nfs-server
• call518/oaas-etcd
• call518/oaas-galera
• call518/oaas-memcached
• call518/oaas-rabbitmq
• call518/oaas-mongodb
• call518/oaas-haproxy
• call518/oaas-zookeeper
• call518/oaas-ocata

Initiate Deploying OpenStack

[k8s-master]# git clone [here]

[k8s-master]# cd OpenStack-on-Kubernetes/src-ocata

[k8s-master]# ./start-oaas.sh

Result Deploying

[k8s-master]# kubectl get all -o wide

NAME                           READY     STATUS    RESTARTS   AGE       IP             NODE
pod/cinder-0                   1/1       Running   0          38m       10.244.3.130   k8s-node03
pod/cinder-1                   1/1       Running   0          6m        10.244.1.143   k8s-node01
pod/etcd0                      1/1       Running   0          38m       10.244.2.112   k8s-node02
pod/etcd1                      1/1       Running   0          38m       10.244.3.127   k8s-node03
pod/etcd2                      1/1       Running   0          38m       10.244.1.137   k8s-node01
pod/galera-0                   1/1       Running   1          38m       10.244.2.117   k8s-node02
pod/galera-1                   1/1       Running   0          17m       10.244.3.133   k8s-node03
pod/galera-2                   1/1       Running   1          33m       10.244.1.142   k8s-node01
pod/glance-0                   1/1       Running   0          38m       10.244.1.140   k8s-node01
pod/glance-1                   1/1       Running   0          10m       10.244.3.135   k8s-node03
pod/haproxy-7b567f67d8-mxm7v   1/1       Running   3          38m       10.244.3.128   k8s-node03
pod/horizon-6965547f56-kgc44   1/1       Running   0          38m       10.244.2.116   k8s-node02
pod/keystone-0                 1/1       Running   0          38m       10.244.2.114   k8s-node02
pod/keystone-1                 1/1       Running   0          13m       10.244.3.134   k8s-node03
pod/memcached-0                1/1       Running   0          38m       10.244.2.113   k8s-node02
pod/memcached-1                1/1       Running   0          38m       10.244.3.129   k8s-node03
pod/memcached-2                1/1       Running   0          38m       10.244.1.138   k8s-node01
pod/neutron-server-0           1/1       Running   0          38m       10.244.1.139   k8s-node01
pod/neutron-server-1           1/1       Running   0          5m        10.244.3.136   k8s-node03
pod/nfs-server                 1/1       Running   0          38m       10.244.1.136   k8s-node01
pod/nova-compute-0             1/1       Running   0          38m       10.244.4.24    k8s-node04
pod/nova-compute-1             1/1       Running   0          38m       10.244.5.24    k8s-node05
pod/nova-server-0              1/1       Running   0          38m       10.244.2.115   k8s-node02
pod/nova-server-1              1/1       Running   0          4m        10.244.1.144   k8s-node01
pod/rabbitmq-0                 1/1       Running   0          38m       10.244.3.131   k8s-node03
pod/rabbitmq-1                 1/1       Running   0          35m       10.244.1.141   k8s-node01
pod/rabbitmq-2                 1/1       Running   0          35m       10.244.2.118   k8s-node02

NAME                          TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                                                       AGE       SELECTOR
service/cinder                ClusterIP   None             <none>        8776/TCP                                                      38m       app=cinder
service/etcd-client           ClusterIP   10.109.90.101    <none>        2379/TCP                                                      38m       app=etcd
service/etcd0                 ClusterIP   10.110.11.231    <none>        2379/TCP,2380/TCP                                             38m       etcd_node=etcd0
service/etcd1                 ClusterIP   10.98.35.253     <none>        2379/TCP,2380/TCP                                             38m       etcd_node=etcd1
service/etcd2                 ClusterIP   10.110.157.230   <none>        2379/TCP,2380/TCP                                             38m       etcd_node=etcd2
service/galera                ClusterIP   None             <none>        3306/TCP                                                      38m       app=galera
service/glance                ClusterIP   None             <none>        9292/TCP,9191/TCP                                             38m       app=glance
service/haproxy-galera        ClusterIP   None             <none>        3306/TCP                                                      38m       app=haproxy
service/haproxy-stats         NodePort    10.103.245.255   <none>        9000:30090/TCP                                                38m       app=haproxy
service/horizon               NodePort    10.103.67.208    <none>        80:30080/TCP                                                  38m       app=horizon
service/keystone              ClusterIP   None             <none>        5000/TCP,35357/TCP                                            38m       app=keystone
service/kubernetes            ClusterIP   10.96.0.1        <none>        443/TCP                                                       2d        <none>
service/memcached             ClusterIP   None             <none>        11211/TCP                                                     38m       app=memcached
service/neutron-server        ClusterIP   None             <none>        9696/TCP                                                      38m       app=neutron-server
service/nova-compute          ClusterIP   None             <none>        8774/TCP,8775/TCP,6080/TCP                                    38m       app=nova-compute
service/nova-server           NodePort    10.111.84.90     <none>        8774:30177/TCP,8778:30246/TCP,8775:31964/TCP,6080:30068/TCP   38m       app=nova-server
service/rabbitmq              ClusterIP   None             <none>        5672/TCP,4369/TCP,25672/TCP                                   38m       app=rabbitmq
service/rabbitmq-management   ClusterIP   None             <none>        15672/TCP                                                     38m       app=rabbitmq

NAME                      DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE       CONTAINERS   IMAGES                 SELECTOR
deployment.apps/haproxy   1         1         1            1           38m       haproxy      call518/oaas-haproxy   app=haproxy
deployment.apps/horizon   1         1         1            1           38m       horizon      call518/oaas-ocata     app=horizon

NAME                                 DESIRED   CURRENT   READY     AGE       CONTAINERS   IMAGES                 SELECTOR
replicaset.apps/haproxy-7b567f67d8   1         1         1         38m       haproxy      call518/oaas-haproxy   app=haproxy,pod-template-hash=3612392384
replicaset.apps/horizon-6965547f56   1         1         1         38m       horizon      call518/oaas-ocata     app=horizon,pod-template-hash=2521103912

NAME                              DESIRED   CURRENT   AGE       CONTAINERS       IMAGES
statefulset.apps/cinder           2         2         38m       cinder           call518/oaas-ocata
statefulset.apps/galera           3         3         38m       galera           call518/oaas-galera
statefulset.apps/glance           2         2         38m       glance           call518/oaas-ocata
statefulset.apps/keystone         2         2         38m       keystone         call518/oaas-ocata
statefulset.apps/memcached        3         3         38m       memcached        call518/oaas-memcached
statefulset.apps/neutron-server   2         2         38m       neutron-server   call518/oaas-ocata
statefulset.apps/nova-compute     2         2         38m       nova-compute     call518/oaas-ocata
statefulset.apps/nova-server      2         2         38m       nova-server      call518/oaas-ocata
statefulset.apps/rabbitmq         3         3         38m       rabbitmq         call518/oaas-rabbitmq

Open Horizon Dashboard

In browser, http://[One_of_worker_nodes]:30080

Scaling

(Note) Maybe, needed more worker nodes...

<Examples>

[k8s-master]# kubectl scale --replicas=4 statefulset.apps/cinder
[k8s-master]# kubectl scale --replicas=5 statefulset.apps/galera (must 2n+1)

ScreenShots

Login

Overview

Instances

Network Topology

Instance Web Console

TODO

• Re-Configuration Flat-IP Ranbe for EXT-NET.
• (Done) Simplify initContainer Check-Processing.
• Integration of All of Provision Source. /w Template and ETc...

Appendix

Repositories

Active Repository (GitHub)

https://github.com/call518/OpenStack-on-Kubernetes

Mirrored Repository (GitLab)

https://gitlab.com/call518/OpenStack-on-Kubernetes

References

• HAProxy
  • https://blog.bluematador.com/posts/running-haproxy-docker-containers-kubernetes/
• MongoDB
  • https://www.ibm.com/developerworks/cloud/library/cl-deploy-mongodb-replica-set-using-ibm-cloud-container-service/index.html
  • https://github.com/MichaelScript/kubernetes-mongodb
  • https://github.com/MichaelScript/kubernetes-mongodb/blob/master/mongodb.yaml

What is AMANDA?

AMANDA, the Advanced Maryland Automatic Network Disk Archiver

"Single server can backup multiple hosts to various media."

"Amanda is a designed to backup multiple files, databases and applications across a local network and store data on a wide variety of devices including tape, disk and optical based storage"

"Optimized for efficient utilization of network and hardware resources"

Copyright (c) 1991-1998 University of Maryland at College Park All Rights Reserved.

History

• University of Maryland's Computer Science Department
• Supported by Zmanda

License

Freely distributable source and executable. University of Maryland (BSD style) license and GPL

Features of Amanda

1. Server-Client(Agent) 아키텍쳐
   
   1. Single Backup Server <-> Multiple Client
      
   2. "All Configuration are done one a server"
2. C & Perl
3. 표준 백업 S/W를 기반으로 구성 (Extensible)
   1. GNU tar
   2. dump/restore
   3. Others
4. 개방형 File 및 Tape 포맷
   1. Recover에 mt 또는 GNU tar로 가능 (without Amanda)
5. Support Windows (32bit/64bit)
6. Multiple Machines을 Holding Disk(Optional)에 병렬 Dump(백업) 처리
   1. 완료된 Dump들은 가능한 빨리 vtate/tape로 Copy
7. 백업된 파일과, Media에서 파일의 위치에 대한 카탈로그 유지관리
8. Generic Interface를 통해 Tape Changer 지원
9. Device API 제공 (a pluggable interface to storage devices)
   1. Amanda는 실제로 Device와 직접 통신 하지 않는다.
   2. Bundled drivers
      1. tapes
      2. virtual tapes on disk
      3. DVD-RW
      4. RAIT (D2D2T, D2D2C)
      5. Amazon S3
   3. Bundled 'amvault' (Not Stable)
      1. Copy Amanda dumps from one volume to another
      2. 예) Copy to Removable Media
   4. Cloud Storage (S3)
10. Server와 Client간 Secure Backup 지원
    1. by OpenSSH
    2. DMZ or Internet 구간 보안
11. 암호화 백업 아카이브 지원
    1. on Amanda Client 또는 on AManda Server
    2. GPG 또는 Any Encryption 프로그램 가능
12. 압축 백업 아카이브 지원
    1. 네트워크 상에서 "전송 전" 혹은, "전송 후" 선택 가능
    2. 예)
       
       1. gzip
       2. bzip2
       3. others
13. Kerberos5 지원 (Authentication)
14. Fault Tolerance (Down, Hang, Timeout...)
    1. Skip Clinet
       1. 스케쥴된 Backup Run 불가한 상황 극복 (예: 노트북, 랩탑, 기타 등등)
    2. Backup media error
       1. 백업 데이타는 "Holding Disk(Buffering)"에서 유지 (Optional)
       2. Media 문제가 해결되면, 다시 Media로 Flush된다.
    3. Client의 여러 케이스(예: Timeout)에 대해 Operation Re-try 처리
15. 상세 보고서(Report) 지원
    1. email
       1. Data Balance 정보
       2. Client 백업 상태 요약
       3. Amanda의 Subsystem, Media, Network성능 요약 정보
       4. 각각의 Backup Run에 따른 Media Usage
       5. Error 메세지
16. Validate Backup Data
    1. "amcheckdump" Command
    2. Storage로부터 Backup을 읽어, 각각에 적용된 Application으로 해석 될 수 있는지 확인
       
       1. 예: 백업본이 GNU tar 이미지라면, GNU tar로 parsing.
       2. --timestamp
17. Server/Client 설정 검사 도구 지원
    1. "amcheck"
18. 백업 스케쥴의 동적 조정
    1. 유지보수 (Host, Disk 추가/제거)
19. Backup Normalization
    1. 백업 Cycle내에서 Full /. Incremental 백업을 자동 배치 (Intelligently)
    2. Resource 최적화를 위해 "Backup Level" 조절
20. Pre/Post User 스크립트 지원
    1. Pre-Backup
    2. Post-Backup
    3. Pre-Restore
    4. Post-Restore
21. IPv6 friendly
22. Span Tapes 지원 (Split 지원)
    1. 단일 백업이 하나의 tape(vtape)을 초과할 경우, 자동 분할 저장
23. Simple/Robust Data-Recovery
    1. 모든 Media와 백업 정보를 Database로 관리
    2. Amanda Command로 열람 가능
    3. 백업 데이터는 권한만 있다면 어떤 Client에서도 복구 될 수 있다.
    4. Native Format로 저장되므로, Amanda 없이 OS Tool만으로 복구 가능

System Requirements

Host

• "Backup Server Host" (Can be a Client Host)
• "Backup Client Hosts"
• 저장매체에 접근이 가능해야 한다.
• 저장매체 예)
  • Disk (Local, NAS, SAN)
  • 대용량 Tape드라이브(라이브러리)

Holding Disk

• Dump에대한 버퍼링 (실제로 tape에 쓰기 전)
• 병렬(Parallel) Backup Run 가능
• Size는 가장 큰 Disk Partition으로부터 생성되는 Dump Output보다 커야 -> 최상의 성능 기대
• Optional (Recommended)
  • Disable -> Sequentially

Client side tested systems

• AIX 3.2 and 4.1

• BSDI BSD/OS 2.1 and 3.1

• DEC OSF/1 3.2 and 4.0

• FreeBSD 6, 7 and 8

• GNU/Linux 2.6 on x86, m68k, alpha, sparc, arm and powerpc

• HP-UX 9.x and 10.x (x >= 01)

• IRIX 6.5.2 and up

• NetBSD 1.0

• Nextstep 3 (!)

• OpenBSD 2.5 x86, sparc, etc (ports available)

• Solaris 10

• Ultrix 4.2

• Mac OS X 10

• Windows: XP Pro (Server pack 2), 2003 server, Vista, 2008 server R2, Windows 7 (!)

Siver side tested systems

• (!)를 제외한 나머지

Scheduler

"Amanda is a scheduler"

Q: "Will Amanda support my ACME Tape Drive 2000 Ultra Professional?"
A: "Does your Operating System Support it?"

Traditional Scheduling

• 대부분 백업 솔루션들은 기본적으로 동일한 백업 스케쥴링을 제공.
  • 매주 일요일 또는 격주나 매월 마지막날 Full 백업 수행
  • (추가) 각 Full 백업 사이에는 다른 레벨을 가지는 증분백업을 수행
  • 이러한 방법론의 최대 문제
    • Resources Load Balancing 개념이 없음
      • CPU, Network, I/O
    • Full 백업 완료 지연
      • 예) 종종 시스템 관리자는 일요일 예약된 Full 백업이 월요일 아침까지 계속되는 상황 경험
    • 정기적인 Full 백업 이외에는 대부분 사용률 저조
    • Manual 하게 Load를 조정(Distribute Full Backup) 가능 하나 현실적이지 못함
      • 환경 변화 대응 느림
      • 신규 Client나, 제거 Client가 Manual하게 유지해왔던 LB 균형을 깨뜨림

Amadan Scheduling

• Optimize Load Balancing of Backup
• Static한 스케쥴을 지정하는 것 대신, 특정 조건을 셋업
  • "Client A,B, C는 매주 일요일에, D, E, F는 수요일에 Full 백업을 수행하고, 나머지 요일은 증분 백업을 수행해라"
  • "Dump사이클 기간은 7일이며, 최소한 1번의 Full 백업을 수행하고, 그외에는 증분 백업을 수행해라."
• 아래의 목적을 위해 Amanda는 Full 백업과 증분 백업의 최적 조합을 찾는다. => "Optimal Backup Level"
  • 각 Backup Run 마다, Backup 데이타의 총량을 가능한 '작게(Small)' 하여 수행
  • 이를 위한 고려사항
    • 각 Client마다 보고된, 백업 되어야할 데이터 총량
      • 가장 최근 수행된 Backup(Since last backup) 기준으로 변화된 데이터 양 정보 기반
      • Dump Cycle(Maximum Time between Full Backups)
      • 각각의 Backup에 대한 Backup Media(tape or disk) 가용성 (Client별 상이한 Backup Media)
• Optimal Backup Level 계산
  • 모든 Backup 단위는 "Estimate phase"를 가지고 시작된다.
  • "Estimate phase"
    • 어떤 File이 변경되었고, 변경된 파일들의 Total size는 얼마인지 결정하는 프로세스
    • 다소 시간 소요 발생 -> 특히 많은 Client수 또는 많은 Filesystem수를 가질때 소요시간 증가
      • (거의 변화가 없는 Filesystem 또는 File 변경이 거의 없는 대상이라면 Bypass 처리 가능)

Example - Amanda Scheduling

(그림1)

(그림2)

• (그림2)는 (그림1)의 Client들에 대한 백업을 Amanda가 어떻게 스케쥴링 하는지를 보여주는 예제
• (가정 상황)
  • 각가가의 /home 디렉토리는 100GB를 소비
  • Tape의 용량은 200GB
  • 데이타 변화률은 15%
  • Dump Cycle은 4일
  • 각각의 Backup Run은 DailySet1 부터 DailySet4로 Label된 Tape에 기록
  • 모든 증분 백업은 Level-1이며, 최근 Full 백업 기준으로 변경분을 의미 (=차등백업)

• 아래 (표1)은 각 Backup Run으로 생성된 Backup Size

  Filesystem	DailySet1	DailySet2	DailySet3	DailySet4	DailySet1	DailySet2	DailySet3	DailySet4
  /home1	100.0	15.0	27.75	40.84	100.0	15.0	27.75	40.84
  /home2	-	100.0	15.0	27.75	40.84	100.0	15.0	27.75
  /home3	-	-	100.0	15.0	27.75	40.84	100.0	15.0
  /home4	-	-	-	100.0	15.0	27.75	40.84	100.0
  Total	100.0	115.0	142.75	183.59	183.59	183.59	183.59	183.59

• 실제로 Amanda는 Tape의 용량을 최대한 활용하기 위해, 증분 백업의 Level을 0~9까지 모두 활용한다. (Tape 효율성 최대화)

Appendix

• Dump Cycle
  • Short
    • 예) 3~4일
    • 장점: Incremental Backup 수가 적기에 Resotre가 상대적으로 쉽다.
    • 단점: 더 많은 Tape 및 Time 소요.
  • Long
    • 장점: 여러 Tape에 Load를 보다 효과적으로 분산 가능
    • 단점: 많은 증분 백업으로 인해 Restore에 더 많은 단계를 필요로 함

Tape Management

• Amanda는 vpate, ptape, disk, optical 등 모두 tape으로 추상화
• 모든 tape은 사용되기 전에 "amlabel" 명령을 통해 label처리가 되어야 한다.
  • label과정을 쉽게 하기 위해, default template이 제공된다.
  • custom template 작성 가능
• Labling의 목적은 동일 tape에 Overwriting 방지 (유효한 백업 이미지 보전)
  • Amanda의 tape 식별자 정도 개념
  • 각각의 Backup Run 단위마다 New Tape으로 시작
  • 동일 tape에 여분이 있더라도, 다른 시점의 Backup Run은 반드시 Next Tape의 첫부분부터 기록
• 백업 보존 정책에 따라, 각 Tape의 만료 일자 추적
  • 만료되 Tape은 새로운 Backup의 기록을 위해 재사용된다. (Rotate)
    • 필요하다면, 특정 tape들은 재사용하지 않도록 설정 가능. (만료되지 않도록)
    • DVD-RW와 같은 Optical Media를 대상으로 Archiving 할때 유용
• 단일 Backup Run에, 매우 큰 대용량 데이타 백업에 대해 Mulitple Tape 사용 지원 (Span Multiple Tapes)
  • >= version 2.5
  • (2.5 이전 Old Version: Large Filesystem을 작은 Chunks로 관리자가 쪼개야 했음)
  • 하나의 Backup Run에 대해 최대(max) 사용가능한 tape 설정 (runtapes 1)
  • "part_size"로 백업데이타를 Split (Recommanded: 1/10 of Tape-Size)
  • LEOM (Logical End-Of-Midium) 지원/미지원 둘다 가능 (LEOM 지원 권장)
    • Amanda는 백업 초기단계에 "end of volume" 감지 가능 (with LEOM, without LEOM)
    • vtape의 경우, VFS Device는 LEOM 기본 지원 -> Tape Spanning 자동 활성 (enabled)

Setup Virtual Tapes

• Virtual Tapes(vtapes)은 tape를 Emulating 함을 의미
• "chg-disk" Tape Changer (Recommended)

Pre-Requirements

• vtapes 저장소로 사용할 독립된 Physical HDD 또는 Partition를 결정 (성능)
  
  • Dedicated HDD 권장
• holdingdisk와 vpates는 동일한 Physical HDD여서는 안된다. (성능)
• vpates 저장소는 Amanda에 의해 Backup대상에 포함되어서는 안된다.

Length and number of tapes

• HDD를 어떻게 vtapes으로 분할할지 결정하기 위해 아래의 사항들에 대해 평가/추정 필요.
  • 백업되어야 할 데이터의 Total amount
  • Full백업 당, 허용 가능한 Level-1이상의 증분백업의 개수
  • Full백업 대비, 증분백업의 Size (="데이터 변화율%")
  • total tapecycle (백업 데이터 유지 기간과 연관)
  • 앞선 수치들의 장기적 변화 추이
• 넉넉한 공간을 확보(Cost↑, Utilization↓)를 통해 "Oversubscribing"을 방지하는 것이 권장되나, oversubscribing을 허용했을 경우, Backup Failure 방지를 위한 주의/감시 체계 필요.

Safe Calculation

• Available Space를 tapes으로 분할 지침

available space * 0.9 >= tapelength * tapecycle

• Usage가 Full에 근접할 경우, 급격한 성능 저하가 "0.9"의 이유
• 성능을 위한 보수적 수치
• 필요에 따라 조정 가능
• Amanda가 하나의 Tape용량(tapelength)를 모두 채우는 일은 드물다.

Oversubscribing

• 실제 존재하는 Resouce보다 더 많은 백업 대상을 수용
• vtape의 Length와 Cycle값 조정

available space * oversubscription factor = tapelength * tapecycle