간단한 tc (traffic control) 기반의 traffic shaping 방법

OS: Raspbian Jessie

TC는 리눅스에서 트래픽 컨트롤 기능을 제공하는 도구이고, shaping (응용 레벨에서의 data rate 설정), scheduling (패킷 전송 순서를 조절), policing (arriving traffic에 대한 제어인 듯? 자세히는 모르겠음), dropping (들어오고 나가는 패킷에 대한 drop)을 지원한다.

이렇게 여러가지 기능이 있고, traffic shaping만 해도 사용하는 queue의 종류와 옵션 설정에 따라 다양한 목적 달성이 가능한데, 일단 내 실험에서는 말그대로 "특정 어플리케이션에서 내보내는 트래픽(outgoing traffic)을 원하는 대역폭으로 제한"을 거는 것만 필요하기 때문에 이와 관련된 가장 간단한 설정 방법만 정리하게 되었다.

<NOTE>

여기 정리된 방법이 tc를 설정하는 유일한 방법이 아니고, 항상 가장 좋은 방법이 될 수는 없다. 같은 목적을 다른 큐(queue)와 다른 설정, 심지어 iptables 같은 도구와의 연동을 통해서도 달성할 수 있다. 일반론적인 얘기지만, 결국 목적과 네트워크 상황에 맞춰서 쓰는 수밖에 없다.

<조건 생성>

1. qdisc 생성하기

어떤 경우에는 qdisc를 나중에 생성하는 경우도 있던데 그냥 먼저 만들어도 상관이 없으므로 먼저 만들어 두기로 했다.

HTB (HIerarchical Token Bucket)이라는 큐를 쓸 경우의 명령어는 다음과 같다.

$ sudo tc qdisc add dev [IFNAME] root handle [ROOT_HANDLE_NO]: htb default 12

[IFNAME]은 네트워크 인터페이스 이름, 

[ROOT_HANDLE_NO]는 루트 qdisc에 대한 핸들 번호(아이디) 이다.

default 뒤에 붙는 숫자는 별 의미가 없다. 아무 조건으로도 분류되지 않는 모든 트래픽이 1:12라는 클래스에 할당된다는 의미이고, 아직 tc를 가지고 1:12라는 아이디를 갖는 class를 만들지 않았기 때문에 아무 조건 없이 보통의 트래픽처럼 처리된다.

(예)

무선랜 인터페이스(wlan0)에 대한 qdisc를 1번으로 생성:

$ sudo tc qdisc add dev wlan0 root handle 1: htb default 12

2. Class 생성하기

생성된 qdisc를 거쳐 가는 모든 트래픽을 분류하기 위해서, 분류되는 각 클래스와 그 클래스에 대한 조건(이 글에서는 traffic shaping만 설정하므로 bandwidth 제한)을 설정한다.

$ sudo tc class add dev [IFNAME] parent [ROOT_HANDLE_NO]: classid [ROOT_HANDLE_NO]:[CLASS_NO] htb rate [DATA_RATE]

[CLASS_NO]는 새로이 traffic shaping을 적용할 클래스에 붙이는 번호이고, 원하는 대로 아무 번호나 붙여도 된다. 1부터 시작해서 증가시키면 별 문제가 없을 것이다.

참고로 qdisc 생성할 때 지정한 default 번호를 염두에 두고 설정해야 한다. Default traffic에 제한을 걸고 싶지 않다면 앞서 설정한 default 클래스 번호는(qdisc 예시에서 1:12) 피해야 한다.

[DATA_RATE]는 제한을 걸 bandwidth 표현이다. 만약 100 KB/s (초당 100 킬로바이트)를 허용하는 최대치로 두고 싶다면 100kbps 라고 써야 한다. 보통 우리가 알기로 kbps는 Kilobits per second인데 여기서는 Kilobytes per seconds로 쓰이고 있으므로(왜 그렇게 했는지는 모르겠지만...) 혼동하지 말아야 한다.

(예)

무선랜 인터페이스로 나가는 트래픽 중에서 최대 대역폭 200KB/s의 제한을 갖는 클래스를 5번으로 정의하고 생성:

$ sudo tc class add dev wlan0 parent 1: classid 1:5 htb rate 200kbps

3. Filter 생성하기

클래스를 먼저 만들고, 그 뒤에 특정 클래스로 패킷을 분류시켜서 traffic shaping 효과를 내기 위한 필터를 만든다. 필터는 source IP, source port, destination IP, destination port, traffic type (TCP, UDP 등), network interface 등의 조건으로 패킷을 분류할 수 있다.

$ sudo tc filter add dev [IFNAME] protocol ip parent [ROOT_HANDLE_NO]:0 prio 1 u32 match ip src [SRC_IP] match ip sport [SPORT] match ip dst [DST_IP] match ip dport [DPORT] 0xffff flowid [ROOT_HANDLE_NO]:[CLASS_NO]

SRC_IP는 source IP주소,

SPORT는 source port number,

DST_IP는 destination IP주소,

DPORT는 destination port 이다.

조건은 모두 match로 시작하고, 조건을 걸고 싶은 경우에만 match를 명시하면 된다. 즉, source port number 조건을 걸 필요가 없으면 match ip sport [SPORT] 부분은 없어도 된다.

(예)

무선랜 인터페이스로 나가는 트래픽 중에서 도착지 IP주소 192.168.4.8, 포트번호 22에 대해서 클래스 1:5로 분류하기:

$ sudo tc filter add dev wlan0 protocol ip parent 1:0 prio 1 u32 match ip dst 192.168.4.8 match ip dport 22 0xffff flowid 1:5

참고로 다른 조건의 트래픽을 같은 클래스에 추가로 분류시킬 수도 있다. 192.168.4.8에서 포트번호 5001도 추가로 1:5에 분류하고자 하면:

$ sudo tc filter add dev wlan0 protocol ip parent 1:0 prio 1 u32 match ip dst 192.168.4.8 match ip dport 5001 0xffff flowid 1:5

각 명령에 대해서 아무 메세지가 출력되지 않고 쉘이 나오면 성공적으로 적용된 것이다.

<생성된 조건 확인>

생성된 qdisc, class, filter 설정이 올바른지 확인하려면 아래와 같이 입력한다:

$ sudo tc qdisc show dev [IFNAME]

$ sudo tc class show dev [IFNAME]

$ sudo tc filter show dev [IFNAME]

실제 생성된 설정 예시:

pi@raspberrypi ~/exp $ sudo tc qdisc show dev wlan0

qdisc htb 1: root refcnt 5 r2q 10 default 12 direct_packets_stat 13267 direct_qlen 1000

pi@raspberrypi ~/exp $ sudo tc class show dev wlan0

class htb 1:5 root prio 0 rate 400Kbit ceil 400Kbit burst 1600b cburst 1600b 

pi@raspberrypi ~/exp $ sudo tc filter show dev wlan0

filter parent 1: protocol ip pref 1 u32 

filter parent 1: protocol ip pref 1 u32 fh 800: ht divisor 1 

filter parent 1: protocol ip pref 1 u32 fh 800::800 order 2048 key ht 800 bkt 0 flowid 1:5 

  match c0a80408/ffffffff at 16

  match 00000016/0000ffff at 20

filter parent 1: protocol ip pref 1 u32 fh 800::801 order 2049 key ht 800 bkt 0 flowid 1:5 

  match c0a80408/ffffffff at 16

  match 00001389/0000ffff at 20

참고로 필터는 위의 생성 예시에서 192.168.4.8:22 및 192.168.4.8:5001 두 개의 조건을 걸었기 때문에 필터 핸들 번호를 기준으로 800:800과 800::8001 이렇게 두 개가 생성되어 있음을 알 수 있다. filter를 입력할 때는 10진수로 조건을 입력했지만 show 에서는 match 부분이 16진수로 표현되어 있다. 잘 보면 윗 라인은 IP주소, 아래 라인은 포트번호이다.

<조건 삭제>

보통은 filter와 class를 삭제하면 설정한 트래픽 제한이 사라진다. 삭제는 생성의 역순으로 해야 한다. qdisc는 굳이 삭제하지 않아도 트래픽에 대한 조건은 모두 사라지므로, 향후 다시 설정하고자 하는 경우 클래스까지만 삭제하면 된다.

$ sudo tc filter del dev [IFNAME] parent [ROOT_HANDLE_NO]: handle [FILTER_HANDLE] pref 1 u32

$ sudo tc class del dev [IFNAME] classid [ROOT_HANDLE_NO]:[CLASS_NO]

$ sudo tc qdisc del dev [IFNAME]

[FILTER_HANDLE]은 위의 생성된 조건을 확인할 때 표시되는 필터 핸들 번호(filter handle)이고, 필자의 경우에는 거의 다 800::800 부터 시작하는 번호가 할당됐다. 필터 핸들을 쓰지 않고, filter를 생성할 때 입력했던 라인을 그대로 가져와서 add만 del로 바꾸게 되면, 놀랍게도 그 외에 설정했던 필터들이 모두 다 같이 삭제되는 현상을 볼 수 있다. 왜 그런지는 모르겠지만, 같은 문제를 호소하는 질문과 그 해결책으로 필터 핸들 번호를 이용한 삭제 방법이 StackOverflow 페이지에 제시되어 있다 [2].

<조건 변경>

add 대신 change를 쓰면 기존에 생성한 조건을 변경할 수 있다.

qdisc는 바꿀 일이 별로 없으므로 넘어가고, 클래스의 경우는 이미 할당된 번호와 parent를 변경할 수는 없고 rate 조정은 가능하다.

$ sudo tc class change dev [IFNAME] parent [ROOT_HANDLE_NO]: classid [ROOT_HANDLE_NO]:[CLASS_NO] htb rate [DATA_RATE]

(예)

기존에 생성한 1:5 클래스의 bandwidth를 50KB/s로 변경할 경우:

$ sudo tc class change dev wlan0 parent 1: classid 1:5 htb rate 50kbps

TC가 잘 설정되었는지 확인하는 방법 중 하나로, iperf를 쓰는 방법이 있다. iperf는 받는 쪽에서 -s 옵션으로 받는 패킷에 대한 통계를 내고, 보내는 쪽에서 -c 옵션과 목적지 IP주소를 입력해서 최대 bandwidth를 측정할 수 있다.

보내는 쪽 예시:

먼저 200KB/s (1.6Mbps)로 클래스의 대역폭을 설정했다가, 나중에 50KB/s (400Kbps)로 변경한 경우이다.

pi@raspberrypi ~/exp $ sudo tc qdisc add dev wlan0 root handle 3: htb default 12

pi@raspberrypi ~/exp $ sudo tc class change dev wlan0 parent 1: classid 1:5 htb rate 200kbps 

pi@raspberrypi ~/exp $ sudo tc filter add dev wlan0 protocol ip parent 1:0 prio 1 u32 match ip dst 192.168.4.8 match ip dport 5001 0xffff flowid 1:5

pi@raspberrypi ~/exp $ iperf -c 192.168.4.8

------------------------------------------------------------

Client connecting to 192.168.4.8, TCP port 5001

TCP window size: 43.8 KByte (default)

------------------------------------------------------------

[  3] local 192.168.4.6 port 55182 connected with 192.168.4.8 port 5001

[ ID] Interval       Transfer     Bandwidth

[  3]  0.0-10.8 sec  2.00 MBytes  1.56 Mbits/sec

pi@raspberrypi ~/exp $ sudo tc class change dev wlan0 parent 1: classid 1:5 htb rate 50kbps

pi@raspberrypi ~/exp $ iperf -c 192.168.4.8

------------------------------------------------------------

Client connecting to 192.168.4.8, TCP port 5001

TCP window size: 43.8 KByte (default)

------------------------------------------------------------

[  3] local 192.168.4.6 port 55183 connected with 192.168.4.8 port 5001

[ ID] Interval       Transfer     Bandwidth

[  3]  0.0-12.7 sec   640 KBytes   414 Kbits/sec

pi@raspberrypi ~/exp $

iperf의 기본 포트인 5001에 대해서 필터를 걸었더니, 보내는 트래픽이 처음에는 약 1.6Mbps로 전송되다가, 클래스를 수정한 뒤에는 약 400Kbps의 대역폭을 가짐을 볼 수 있다.

받는 쪽 예시:

cdsn@cdsn-ThinkPad-X200:~$ iperf -s

------------------------------------------------------------

Server listening on TCP port 5001

TCP window size: 85.3 KByte (default)

------------------------------------------------------------

[  4] local 192.168.4.8 port 5001 connected with 192.168.4.6 port 55182

[ ID] Interval       Transfer     Bandwidth

[  4]  0.0-11.0 sec  2.00 MBytes  1.53 Mbits/sec

[  5] local 192.168.4.8 port 5001 connected with 192.168.4.6 port 55183

[  5]  0.0-13.7 sec   640 KBytes   384 Kbits/sec

받는 쪽에서도 보내는 쪽의 tc 설정대로 처음에는 약 1.6Mbps 정도의 incoming traffic을 보이다가, tc 설정을 변경한 이후에는 약 400Kbps 정도의 낮은 속도로 패킷이 도착했음을 확인할 수 있다.

<참고자료>

[1] HTB Linux queuing discipline manual - user guide, http://luxik.cdi.cz/~devik/qos/htb/manual/userg.htm

[2] TC hashing filters - single rule deletion, http://serverfault.com/questions/330581/tc-hashing-filters-single-rule-deletion