2008-01-31

Darkstat-統計指定網卡的封包流量

【前言】

[Darkstat - Nework Traffic Analyzer] 簡單來說就是把通過指定網卡的封包利用圖表統計方式呈現,讓您可以很簡單的了解現在網卡上進、出的流量。

Darkstat 特色:

  • 使用圖表方式來呈現 Host、Port。
  • 使用嵌入式網頁伺服器 (因此不需安裝 Web Server)。
  • 預設使用 DNS 來解析分析到的 Host。
  • 體積小、可攜式、單執行緒、高效率、不複雜。

Darkstat 成果展示畫面:

[Darkstat Graphs Screenshots]

[Darkstat Hosts Screenshots]

[Darkstat Hostnames Screenshots]

【作業環境】

FreeBSD 5.4-RELEASE-p7

darkstat-3.0.707

【安裝及設定】

Step1.安裝 darkstat 套件

 #cd /usr/ports/net-mgmt/darkstat    //切換到安裝路徑
#make install clean //安裝套件並清除安裝中不必要的檔案

Step2.編輯 /etc/rc.conf

編輯 /etc/rc.conf 來達到開機啟動 Darkstat 及指定要監聽的網卡名稱

 #vi /etc/rc.conf
darkstat_enable="YES" //開機啟動 Darkstat service
darkstat_interface="em0" //指定監聽的網卡名稱

Step3.啟動 darkstat

 #/usr/local/etc/rc.d/darkstat.sh start
Starting darkstat.
darkstat 3.0.707 (built with libpcap 2.4)
darkstat (03360): starting up
darkstat (03360): daemonizing to run in the background!
darkstat (03360): parent waiting
darkstat (03361): I am the main process
darkstat (03362): set uid/gid to 65534/65534
darkstat (03361): DNS child has PID 3362
darkstat (03361): caplen is 54
darkstat (03361): capturing in promiscuous mode
darkstat (03361): listening on 0.0.0.0:667
darkstat (03361): loaded 131 protos
darkstat (03361): loaded 1002 tcp and 968 udp servs, from total 1975
darkstat (03361): chrooted into: /var/run/darkstat
darkstat (03361): set uid/gid to 65534/65534
darkstat (03361): local_ip update(em0) = 61.60.59.58
darkstat (03361): entering main loop
darkstat (03360): parent done reading, calling waitpid
darkstat (03360): waitpid ret 0, status is 0

檢查 darkstat service 是否啟動

 #/usr/local/etc/rc.d/darkstat.sh status
darkstat is running as pid 3361.

檢查 darkstat service 是否開啟服務的 Port (Default 667)

 #sockstat |grep 667
nobody darkstat 3361 10 tcp4 *:667 *:*

檢查 darkstat process 是否執行中

 #ps ax |grep darkstat
3361 ?? Ss 0:00.01 /usr/local/sbin/darkstat -i em0 --chroot /var/run/darkstat --pidfile darkstat.pid --user nobody
3362 ?? Is 0:00.00 darkstat: DNS child (darkstat)

補充參數說明

參數說明
-i interface指定監聽的網路卡名稱
--debug開啟除錯模式
--no-promisc不使用混亂模式(promiscuous mode )
--no-dns不使用 DNS 來解析 IP -> Hostname 名稱
-p port指定 embedded webserver 使用的 Port (預設為 667)
-b bindaddr指定 embedded webserver 使用的 IP Address 預設使用 0.0.0.0
-f filter指定過濾 (packet filter),詳細過濾語法請參考 man tcpdump
-l network/netmask定義本地網段(local network),所以進入及出去的封包將會顯示在圖表(Graphs)中
--chroot dir指定 Chroot 資料夾
--user username指定執行服務的使用者 (預設使用 nobody)
--daylog filename指定 daily Log traffic statistics (必須配合 --chroot 設定)
--import filename匯入 darkstat database
--export filename匯出 darkstat database(必須配合 --chroot 設定)
--pidfile filename建立 darkstat process ID

【Me FAQ】

Q1.無法安裝 darkstat?

Error Meaage:

無法安裝 darkstat 並出現如下錯誤訊息

 #cd /usr/ports/net-mgmt/darkstat ; make install clean
On FreeBSD before 6.2 ports system unfortunately can not set default X11BASE by itself so please help it a bit by setting X11BASE=${LOCALBASE}
in make.conf.On the other hand, if you do wish to use non-default X11BASE, please set variable USE_NONDEFAULT_X11BASE. *** Error code 1 Stop.

Ans:

因 為本次安裝的機器為 FreeBSD 5.4-RELEASE-p7 而訊息也很清楚說明,若你在更新 Port tree 後且您的 FreeBSD 版本為 6.2 以前的話,那麼若是在安裝此套件時會安裝 X11 套件或不想安裝的話可以把相關的參數加到 /etc/make.conf 內。

 #vi /etc/make.conf                  //視個人需求加入吧
X11BASE=${LOCALBASE} //會安裝 X11 相關套件
USE_NONDEFAULT_X11BASE=yes //不安裝 X11 相關套件

【參考】

[Darkstat - Nework Traffic Analyzer or Network Monitor and Screenshots]

[苗栗縣大湖鄉大南國民小學FreeBSD 全球資訊網路架站日誌 - 流量統計 darkstat]

【Log】

初稿-2008/01/31

2008-01-23

【CentOS】最近玩的一些筆記

因為新公司規定只能裝 CentOS 所以就開始玩了,以下是最近玩的筆記....獻醜了.....

Visitors-利用 web log達成流量統計圖表化

【前言】

[Visitors - fast web log analyzer] 設計為可快速分析 Linux、Windows、Unix-link 等架設 Web 伺服器的 Log,使用方式很簡單只要使用命令列並指定 Log 名稱及輸出流量分析報告格式 (Txt / Html) 即可,因此很適合線上即時查看流量。

Visitors 特色如下

  • 不需安裝,每秒可處理 150,000 行 (視機器效能而定,但至少比其它分析軟體快多了)
  • 設計上採用指令模式並可輸出 (Txt / Html),因此使用 SSH 登入主機時能夠非常方便且即時查看流量
  • 從 Visitors v0.3 以後便支援即時統計、遊客流量統計
  • 可清鬆指定產生的流量分析報表項目,相對應參數請參考 [Visitors on line documentation]
  • Visitors 為可攜式 C 語言程序,因此可方便使用在不同的系統中。
  • 產生的 HTML 報表並不包含圖片或外部的 CSS,因此能方便的將報表透過電子郵件來寄送。
  • Visitors 為使用 GPL 授權的自由軟體,所以使用它並不用付費,如果您有興趣想訂製符合您需要的報表歡迎與原作者連絡 antirez (at) invece (dot) org

[Visitors - on line documentation for 0.7]

[Visitors 官網 ScreenShot]

【作業環境】

FreeBSD 6.2-RELEASE

visitors-0.7.0_1

【安裝及設定】

Step1.安裝 visitors 套件

 #cd /usr/ports/www/visitors     //切換至安裝路徑
#make install clean //安裝並清除安裝過程中不必要的檔案

Step2.產生分析圖表

接下來就是開始分析報表吧。

  • -A:分析所有報表項目
  • -m 10:項目最多顯示 10 行 (Requested pages、Requested images and CSS...)
  • Web Log:200801.log
  • -o html:輸出的報表格式
  • /home/web/200801.html 為報表輸出的路徑及檔案名稱

若在你的 web log 中有您不想分析的網站時 (例如自已的網站),可加上參數 ex. -P http://your.site.com 即可。

 #/usr/local/bin/visitors -A -m 10 200801.log  -o html > /home/web/200801.html
--
7055 lines processed in 1 seconds
0 invalid lines, 0 blacklisted referers

我測試一下我使用的機器處理效能,大概是每秒 6.3 萬行左右。

 CPU: Intel(R) Core(TM)2 CPU 6300  @ 1.86GHz (1867.21-MHz 686-class CPU)
real memory = 2146299904 (2046 MB)

以下是測試分析不同行數的 web log 分析速度

 #wc -l 200708.log | awk '{print$1}'
56133 //5.6 萬行
#/usr/local/bin/visitors -A -m 50 200708.log -o html > /home/web/200708.html
--
56133 lines processed in 1 seconds //分析時間花費 1 秒
0 invalid lines, 0 blacklisted referers
#wc -l 2007.log | awk '{print$1}'
318290 //31 萬行
#/usr/local/bin/visitors -A -m 100 2007.log -o html > /home/web/2007.html
--
318290 lines processed in 5 seconds //分析時間花費 5 秒
0 invalid lines, 0 blacklisted referers

Step3.排程

因為我的 web log 都是每天產生的,所以就寫個簡單的 shell 然後排程執行吧。

 #vi /usr/local/sbin/visitors.sh             //建立 shell 檔內容如下
#!/bin/sh
TODAY=`date +%Y%m%d`
LOG="/home/log/apache"
DES="/home/web"
VISITORS=/usr/local/bin/visitors
SHOW="50"
${VISITORS} -A -m ${SHOW} ${LOG}/${TODAY}.log -o html > ${DES}/${TODAY}.html
#chmod +x /usr/local/sbin/visitors.sh

再來就是設定排程

 #crontab -e
55 23 * * * /usr/local/sbin/visitors.sh //每天 23:55 執行

【參考】

[Visitors - fast web log analyzer]

[Visitors, on line documentation for 0.7]

[Visitors - ScreenShot]

[2007-03-06 - IT四重奏]

[1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE - IT四重奏]

[GIS Notes by Rupert » Blog Archive » HTTP access_log analysis]

[えせSEの1日1Hack : 2005-08-17]

[Birds Of a Feather | ログ解析ツール Visitors のプチ改造]

【Log】

初稿-2008/01/18

2008-01-19

6.3 發公告了

03:24 -!- rafan changed the topic of #bsdchat to: 6.3-R
03:45 <@evi1c> [FreeBSD-Announce] FreeBSD 6.3-RELEASE Available
03:45 <@evi1c> rafan: 手快 (Y)

ref: http://lists.freebsd.org/pipermail/freebsd-announce/2008-January/001167.html