Mục Lục Chú thích hình ảnh ........................................................................................................................................
3
Chú thích thuật ngữ .......................................................................................................................................
5
1
Đặt Vấn Đề ...........................................................................................................................................
6
2
Tổng quan v ề Splunk ..........................................................................................................................
7
3
2.1
Splunk là gì? .................................................................................................................................
Splunk thu th ậ p những gì? ............................................................................................................
8
2.4
Splunk có th ể làm gì? .................................................................................................................... 8
2.5
Splunk cung c ấ p cho chúng ta những gì? ...................................................................................... 8
2.6
Splunk, Giải pháp tối ưu cho Big Data? .......................................................................................
8
2.7
Tại sao chọn Splunk? ....................................................................................................................
9
Giải pháp vớ i Splunk ........................................................................................................................
10
Quản lý các ứng dụng: ................................................................................................................
10
3.1 3.1.1
Giải quyết vấn đề nhanh hơn, giảm thờ i gian bị downtime: ............................................... 10
3.1.2
Tại sao Splunk là gi ải pháp tốt cho việc quản lý ứng dụng ................................................ 11 Quản lý hoạt động IT ..................................................................................................................
3.2 3.2.1
Phân tích hoạt động IT: ....................................................................................................... 12
3.2.2
hạ tầng: ....................................................................................................... Giám sát cơ sở h
12
3.2.3
Splunk cho hệ điều hành .....................................................................................................
13
3.2.4
Quản lý ảo hóa ....................................................................................................................
13
An ninh trong lĩnh vự c IT ...........................................................................................................
15
3.3
4
11
3.3.1
Mối đe dọa an ninh ngày m ột tăng: ..................................................................................... 15
3.3.2
Quản lý log: ......................................................................................................................... 15
3.3.3
ng dụng Splunk dành cho an ninh: ................................................................................... 15 Ứ ng
Các tính năng chính trong hoạt độ ng Giám sát mạng của Splunk ............................................... ............................................... 16 4.1
SEARCH LANGUAGE trong Splunk ................................................................................ ................................................................................ 30
4.4.2
Định nghĩa chức năng một số hàm tìm kiếm ...................................................................... 30
4.4.3
Một số cú pháp search language tr trong ong splunk: ................................................................... 33
Các loại Forwarder: ............................................................................................................. 35
4.5.2
So sánh universal forwarder v ớ i Splunk full: ...................................................................... 35
4.5.3
So sánh universal forwarder v ớ i light forwarder: ............................................................... 36
4.6
Một số khái niệm về các file Splunk.conf ................................................................................... ................................................................................... 36
4.7
ng dẫn cấu hình input log t ừ syslog server vào splunk server ............................................. ............................................. 37 Hướ ng
4.8
ng dẫn cấu hình input log Window vào splunk server ......................................................... 39 Hướ ng
4.9
Cách tạo Dashboards ................................................................................................................... 42
Demo Lab lấy log từ h hệ thống mạng nhỏ ........................................................................................
Bướ c 1: Lấy log t ừ Pfsense vào Splunk .............................................................................. .............................................................................. 46
5.1.2
Bướ c 2: Lấy log t ừ Window Server 2k8 DC vào Splunk .................................................... ....................................................
K ết luận và hướ ng ng phát tri ển đề tài ................................................................................................
51 61
6.1
K ết luận .......................................................................................................................................
61
6.2
ng phát tri ển ......................................................................................................................... Hướ ng
61
2
Trường đại học Hoa Sen 4.2.1
Một số điều cần lưu ý khi tìm kiế m dữ liệu trong Splunk: ................................................. 21
4.2.2
Tìm hiểu về Boolean và nhóm các điề u kiện ...................................................................... 22
4.2.3
Sử dụng * để tìm kiếm 1 cách hiệu quả .............................................................................. 22
4.2.4
Tìm kiếm các sự kiện bằng thờ i gian .................................................................................. 22
4.2.5
Chia sẻ k ết quả tìm kiếm với ngườ i khác ............................................................................ 22
4.2.6
Lưu kết quả tìm kiếm để sử dụng lại ................................................................................... 23
4.2.7
Tạo alerts từ k ết quả tìm ki ếm.............................................................................................
4.3
Table , chart trong Splunk ........................................................................................................... 26
4.3.1
Giớ i thiệu một số hàm cơ bản trong vi ệc tạo table ............................................................. 26
4.3.2
Ví dụ về một table cụ thể: ...................................................................................................
SEARCH LANGUAGE trong Splunk ................................................................................ ................................................................................ 30
4.4.2
Định nghĩa chức năng một số hàm tìm kiếm ...................................................................... 30
4.4.3
Một số cú pháp search language tr trong ong splunk: ................................................................... 33
Các loại Forwarder: ............................................................................................................. 35
4.5.2
So sánh universal forwarder v ớ i Splunk full: ...................................................................... 35
4.5.3
So sánh universal forwarder v ớ i light forwarder: ............................................................... 36
4.6
Một số khái niệm về các file Splunk.conf ................................................................................... ................................................................................... 36
4.7
ng dẫn cấu hình input log t ừ syslog server vào splunk server ............................................. ............................................. 37 Hướ ng
4.8
ng dẫn cấu hình input log Window vào splunk server ......................................................... 39 Hướ ng
4.9
Cách tạo Dashboards ................................................................................................................... 42
Demo Lab lấy log từ h hệ thống mạng nhỏ ........................................................................................
Bướ c 1: Lấy log t ừ Pfsense vào Splunk .............................................................................. .............................................................................. 46
5.1.2
Bướ c 2: Lấy log t ừ Window Server 2k8 DC vào Splunk .................................................... ....................................................
K ết luận và hướ ng ng phát tri ển đề tài ................................................................................................
51 61
6.1
K ết luận .......................................................................................................................................
61
6.2
ng phát tri ển ......................................................................................................................... Hướ ng
61
2
Trường đại học Hoa Sen
Chú thích hình ảnh Hình 1 : Sơ đồ triển khai Splunk ph ổ biến trong doanh nghi ệ p. Hình 2 : Các lo ại data , log mà Splunk index đượ c. c. Hình 3 : H ệ thống index và tìm ki ếm đượ c phân phối giữa nhiều core Splunk.
Hình 4 : Sơ đồ hoạt động của Mapreduce. Hình 5 : Ví d ụ minh họa cách mà Mapreduce ho ạt động. Hình 6 : Phân nh ỏ dữ liệu đầu vào.
Hình 7 : Sao chép chương trình. Hình 8 : Th ực hiện hàm Map cho ra k ết quả . Hình 9 : Th ực hiện hàm Reduce và thông báo k ết quả cho Master.
Hình 10 : Thông báo chương trình mapreduce hoàn tấ t ất và k ết quả được lưu trữ trên R tậ p tin. Hình 11 : Ví d ụ tìm các sự kiện xảy ra trong 60 phút trướ c. c.
Hình 12 : Lưu và chia sẻ k ết quả tìm. Hình 13 : K ết quả có thể đượ c chia sẻ dướ i dạng link.
Hình 14 : Lưu kết quả tìm kiếm. Hình 15 : Những k ết quả phải thỏa những điều kiện đượ c thiết lậ p mới được lưu. Hình 16 : K ết quả tìm ki ếm sẽ xuất hiện trong menu Search & Report. Hình 17 : T ạo một alert.
Hình 18 : Đặt tên alert và điều kiện để kích hoạt alert. Hình 19 : Ch ạy k ết quả tìm kiếm event mỗi giờ , khởi động arlet khi k ết quả tìm kiếm lớn hơn 0. Hình 20 : Nếu số lượng event tìm được trong 5 phút bé hơn 5 thì kích hoạ t alert. Hình 21 : Các option trong Alert. Hình 22 : M ột table dạng số. Hình 23 : M ột table dạng chart. Hình 24 : Bi ểu đồ chart dữ liệu nhận đượ c trong một khoảng thơi gian. Hình 24 : Các tùy ch ọn formating c ủa chart. Hình 25 : Ví d ụ về một dashboard cơ bản. Hình 26 : T ắt selinux. Hình 27 : C ấu hình mặc định trong file rsyslog.conf. Hình 28 : Cấu hình để mở port port 514 cho syslog. 3
Trường đại học Hoa Sen Hình 29 : Giao di ện web của Splunk. Hình 30 : Giao di ện splunk đã có thêm add-on Windows. Hình 31 : Cấu hình Forwarding and Receiving. Hình 32 : Tùy ch ọn các loại log mà universalforwarder s ẽ gửi.
Hình 33 : Splunk đã nhận đượ c log của Windows. Hình 34 : Menu chính c ủa Splunk. Hình 35 : T ạo một Dashboard mớ i. Hình 36 : Tùy ch ỉnh kiểu Dashboard sẽ xuất ra. Hình 37 : Bi ểu đồ biểu diễn log hệ thống Window dạng pie. Hình 37 : Bi ểu đồ biểu diễn log hệ thống Window dạng cột. Hình 38 : Thêm ghép nhi ều biểu đồ sẽ tr ở thành một dashboard.
4
Trường đại học Hoa Sen
Chú thích thuật ngữ Big Data: Là t ập hơp các dữ liệu lớ n từ nhiều nguồn như hệ thống máy tính, mysql, các ứng dụng.v.v.v Map Reduce : là m ột thuật toán giúp các ứng dụng xử lý nhanh một lượ ng dữ liệu lớ n. UniversalForwarder : là một phiên bản của splunk nhưng chỉ có tính năng thu thậ p và gửi dữ liệu. Light Forwarder : là m ột phiên bản c ủa Splunk , không có tính năng phân tích mà chỉ forward dữ li ệu. Ít đượ c sử dụng ở các phiên bản splunk 6.0 . Heavy Forwarder : Là một phiên bản c ủa Splunk, có thể phân tích và g ửi nhưng không có khả năng tìm kiếm phân phối dữ liệu. Dashboard : Là một bảng bao gồm nhiều biểu đồ vớ i nhiều kiểu định dạng khác nhau. Pfsense : Phần mềm firewall mã ngu ồn mở .
