278949990-Basic-about-Splunk.docx

Trường đại học Hoa Sen

Mục Lục Chú thích hình ảnh ........................................................................................................................................

3

Chú thích thuật ngữ .......................................................................................................................................

5

1

Đặt Vấn Đề ...........................................................................................................................................

6

2

Tổng quan v ề Splunk ..........................................................................................................................

7

3

2.1

Splunk là gì? .................................................................................................................................

7

2.2

Sơ đồ Splunk phổ biến ..................................................................................................................

7

2.3

Splunk thu th ậ p những gì? ............................................................................................................

8

2.4

Splunk có th ể làm gì? .................................................................................................................... 8

2.5

Splunk cung c ấ p cho chúng ta những gì? ...................................................................................... 8

2.6

Splunk, Giải pháp tối ưu cho Big Data? .......................................................................................

8

2.7

Tại sao chọn Splunk? ....................................................................................................................

9

Giải pháp vớ i Splunk ........................................................................................................................

10

Quản lý các ứng dụng: ................................................................................................................

10

3.1 3.1.1

Giải quyết vấn đề nhanh hơn, giảm thờ i gian bị downtime: ............................................... 10

3.1.2

Tại sao Splunk là gi ải pháp tốt cho việc quản lý ứng dụng ................................................ 11 Quản lý hoạt động IT ..................................................................................................................

3.2 3.2.1

Phân tích hoạt động IT: ....................................................................................................... 12

3.2.2

hạ tầng: ....................................................................................................... Giám sát cơ sở h

12

3.2.3

Splunk cho hệ điều hành .....................................................................................................

13

3.2.4

Quản lý ảo hóa ....................................................................................................................

13

An ninh trong lĩnh vự c IT ...........................................................................................................

15

3.3

4

11

3.3.1

Mối đe dọa an ninh ngày m ột tăng: ..................................................................................... 15

3.3.2

Quản lý log: ......................................................................................................................... 15

3.3.3

ng dụng Splunk dành cho an ninh: ................................................................................... 15 Ứ ng

Các tính năng chính trong hoạt độ ng Giám sát mạng của Splunk ............................................... ............................................... 16 4.1

Map Reduce ................................................................................................................................

16

4.1.1

Map reduce là gì? ................................................................................................................

16

4.1.2

Ưu điểm của mapreduce .....................................................................................................

16

4.1.3

Nguyên tắc hoạt động của Mapreduce ................................................................................ 16

4.1.4

4.Chi tiết 2 hàm Map và Reduce ......................................................................................... 17

4.1.5

Thực thi Mapreduce trong h ệ thống .................................................................................... 19

4.2

ng dẫn tìm kiếm và sử dụng Splunk hi ệu quả ..................................................................... 21 Hướ ng 1

Trường đại học Hoa Sen 4.2.1

Một số điều cần lưu ý khi tìm kiế m dữ liệu trong Splunk: ................................................. 21

4.2.2

Tìm hiểu về Boolean và nhóm các điề u kiện ...................................................................... 22

4.2.3

Sử dụng * để tìm kiếm 1 cách hiệu quả .............................................................................. 22

4.2.4

Tìm kiếm các sự kiện bằng thờ i gian .................................................................................. 22

4.2.5

Chia sẻ k ết quả tìm kiếm với ngườ i khác ............................................................................ 22

4.2.6

Lưu kết quả tìm kiếm để sử dụng lại ................................................................................... 23

4.2.7

Tạo alerts từ k ết quả tìm ki ếm.............................................................................................

4.3

Table , chart trong Splunk ........................................................................................................... 26

4.3.1

Giớ i thiệu một số hàm cơ bản trong vi ệc tạo table ............................................................. 26

4.3.2

Ví dụ về một table cụ thể: ...................................................................................................

4.4

Dashboard ...................................................................................................................................

29

SEARCH LANGUAGE trong Splunk ................................................................................ ................................................................................ 30

4.4.2

Định nghĩa chức năng một số hàm tìm kiếm ...................................................................... 30

4.4.3

Một số cú pháp search language tr trong ong splunk: ................................................................... 33

Splunk Forwarder ........................................................................................................................ 35

4.5.1

Các loại Forwarder: ............................................................................................................. 35

4.5.2

So sánh universal forwarder v ớ i Splunk full: ...................................................................... 35

4.5.3

So sánh universal forwarder v ớ i light forwarder: ............................................................... 36

4.6

Một số khái niệm về các file Splunk.conf ................................................................................... ................................................................................... 36

4.7

ng dẫn cấu hình input log t ừ syslog server vào splunk server ............................................. ............................................. 37 Hướ ng

4.8

ng dẫn cấu hình input log Window vào splunk server ......................................................... 39 Hướ ng

4.9

Cách tạo Dashboards ................................................................................................................... 42

Demo Lab lấy log từ h hệ thống mạng nhỏ ........................................................................................

5.1

6

26

4.4.1

4.5

5

24

Mô hình: ......................................................................................................................................

45 45

5.1.1

Bướ c 1: Lấy log t ừ Pfsense vào Splunk .............................................................................. .............................................................................. 46

5.1.2

Bướ c 2: Lấy log t ừ Window Server 2k8 DC vào Splunk .................................................... ....................................................

K ết luận và hướ ng ng phát tri ển đề tài ................................................................................................

51 61

6.1

K ết luận .......................................................................................................................................

61

6.2

ng phát tri ển ......................................................................................................................... Hướ ng

61

2


Chú thích hình ảnh Hình 1 : Sơ đồ triển khai Splunk ph ổ biến trong doanh nghi ệ p. Hình 2 : Các lo ại data , log mà Splunk index đượ c. c. Hình 3 : H ệ thống index và tìm ki ếm đượ c phân phối giữa nhiều core Splunk.

Hình 4 : Sơ đồ hoạt động của Mapreduce. Hình 5 : Ví d ụ minh họa cách mà Mapreduce ho ạt động. Hình 6 : Phân nh ỏ dữ liệu đầu vào.

Hình 7 : Sao chép chương trình. Hình 8 : Th ực hiện hàm Map cho ra k ết quả . Hình 9 : Th ực hiện hàm Reduce và thông báo k ết quả cho Master.

Hình 10 : Thông báo chương trình mapreduce hoàn tấ t ất và k ết quả được lưu trữ trên R tậ p tin. Hình 11 : Ví d ụ tìm các sự kiện xảy ra trong 60 phút trướ c. c.

Hình 12 : Lưu và chia sẻ k ết quả tìm. Hình 13 : K ết quả có thể đượ c chia sẻ dướ i dạng link.

Hình 14 : Lưu kết quả tìm kiếm. Hình 15 : Những k ết quả phải thỏa những điều kiện đượ c thiết lậ p mới được lưu. Hình 16 : K ết quả tìm ki ếm sẽ xuất hiện trong menu Search & Report. Hình 17 : T ạo một alert.

Hình 18 : Đặt tên alert và điều kiện để kích hoạt alert. Hình 19 : Ch ạy k ết quả tìm kiếm event mỗi giờ , khởi động arlet khi k ết quả tìm kiếm lớn hơn 0. Hình 20 : Nếu số lượng event tìm được trong 5 phút bé hơn 5 thì kích hoạ t alert. Hình 21 : Các option trong Alert. Hình 22 : M ột table dạng số. Hình 23 : M ột table dạng chart. Hình 24 : Bi ểu đồ chart dữ liệu nhận đượ c trong một khoảng thơi gian. Hình 24 : Các tùy ch ọn formating c ủa chart. Hình 25 : Ví d ụ về một dashboard cơ bản. Hình 26 : T ắt selinux. Hình 27 : C ấu hình mặc định trong file rsyslog.conf. Hình 28 : Cấu hình để mở port port 514 cho syslog. 3

Trường đại học Hoa Sen Hình 29 : Giao di ện web của Splunk. Hình 30 : Giao di ện splunk đã có thêm add-on Windows. Hình 31 : Cấu hình Forwarding and Receiving. Hình 32 : Tùy ch ọn các loại log mà universalforwarder s ẽ gửi.

Hình 33 : Splunk đã nhận đượ c log của Windows. Hình 34 : Menu chính c ủa Splunk. Hình 35 : T ạo một Dashboard mớ i. Hình 36 : Tùy ch ỉnh kiểu Dashboard sẽ xuất ra. Hình 37 : Bi ểu đồ biểu diễn log hệ thống Window dạng pie. Hình 37 : Bi ểu đồ biểu diễn log hệ thống Window dạng cột. Hình 38 : Thêm ghép nhi ều biểu đồ sẽ tr ở thành một dashboard.

4


Chú thích thuật ngữ Big Data: Là t ập hơp các dữ liệu lớ n từ nhiều nguồn như hệ thống máy tính, mysql, các ứng dụng.v.v.v Map Reduce : là m ột thuật toán giúp các ứng dụng xử lý nhanh một lượ ng dữ liệu lớ n. UniversalForwarder : là một phiên bản của splunk nhưng chỉ có tính năng thu thậ p và gửi dữ liệu. Light Forwarder : là m ột phiên bản c ủa Splunk , không có tính năng phân tích mà chỉ forward dữ li ệu. Ít đượ c sử dụng ở các phiên bản splunk 6.0 . Heavy Forwarder : Là một phiên bản c ủa Splunk, có thể phân tích và g ửi nhưng không có khả năng tìm kiếm phân phối dữ liệu. Dashboard : Là một bảng bao gồm nhiều biểu đồ vớ i nhiều kiểu định dạng khác nhau. Pfsense : Phần mềm firewall mã ngu ồn mở .

5

Trường đại học Hoa Sen 1

Đặt Vấn Đề

Trong mọi doanh nghiệ p, hệ thống công ngh ệ thông tin là h ệ thống vô cùng quan tr ọng. Ngày nay vớ i mức độ phát triển công nghệ nhanh chóng, thì ngoài vi ệc đảm bảo khả năng vận hành, hoạt động liên tục và chính xác thì vi ệc đảm bảo an ninh thông tin là m ột thách thức lớ n. 

Nguy cơ bên ngoài: Tin tặc bên ngoài lợ i dụng lỗ hổng hệ thống để đột nhậ p



Nguy cơ bên trong: do hành vi ngườ i dùng , ý th ức về mức độ an toàn d ữ liệu còn chưa đượ c cao.



Tính thống nhất trong quản tr ị : Khi hệ thống càng lớ n thì mức độ phức tạ p trong quản lý cũng sẽ tang cao.

SIEM là một gi ải pháp hoàn chính, đầy đủ cho phép các tổ ch ức th ực hi ện vi ệc giám sát các sự ki ện cho mộ hệ thống. Các thành ph ần chính của SIEM bao gồm: thành phần thu thậ p nhật ký, thành phần phân tích, thành phần lưu trữ, thành phần qu ản tr ị t ậ p trung. Ngoài ra còn có các thành ph ần khác như: thành phần giám sát Network ở mức lớ p 7 trong mô hình OSI, các module t ạo báo cáo (Complaince Report, Dashboard) Giải pháp SIEM có nh ững ưu điểm sau: 

Hỗ tr ợ thu thậ p, phân tích các sự ki ện theo thờ i gian thực đượ c thu thậ p t ừ các hệ thống g ửi v ề,

đượ c k ết hợ p cùng với các thông tin liên quan đến ngườ i dùng, các thành ph ần trong hệ thống và dữ liệu. 

Cung cấ p kh ả năng lưu trữ log dài, toàn di ện (log management) và kh ả năng phân tích theo ngữ cảnh (Correlation).



Cung cấ p các ch ức năng đượ c xây dựng sẵn và cho phép thay đổi (Customized) theo các yêu c ầu của các tổ chức.



Dễ dàng triển khai và sử dụng.

Splunk là một cầu nối giữa việc quản lý log một cách đơn giản và bảo mật thông tin, thu th ậ p sự kiện. Cái mà phân biệt ở Splunk so vớ i các server Syslog hay các công c ụ SIEM khác là Splunk Apps. Một thự viện quản lý hơn 200 add-on khác nhau. Chính vì điều đó đã làm cho Splunk trở nên khác biệt, tặng khả năng thu thậ p thông tin các loại log khác nhau, có giao di ện gần gũi và thân thiện, cung cấ p những tính năng tìm kiếm và phân tích dữ liệu thu đượ c.

6

Trường đại học Hoa Sen 2 Tổng quan về Splunk 2.1 Splunk là gì? Splunk là h ệ thống có thể captures, trích ra các d ữ liệu thờ i gian thực có liên quan t ớ i nhau từ đó nó có thể tạo ra các đồ thị, các báo cáo, các cảnh báo và các bi ểu đồ. Mục đích của Splunk là giúp cho vi ệc xác định mô hình dữ liệu và thu thậ p dữ liệu máy trên toàn h ệ thống d ễ dàng hơn.Nó cung cấ p số liệu, chẩn đoán các vấn đề xảy ra , phục vụ tốt cho hoạt động kinh doanh Splunk có th ể tìm kiếm các sự ki ện đã và đang xảy ra, đồ ng thời cũng có thể báo cáo và phân tích th ống kê các k ết qu ả tìm đượ c. Nó có thể nh ậ p các d ữ li ệu của máy dướ i dạng có cấu trúc hoặc không c ấu trúc. Hoạt động tìm kiếm và phân tích s ử dụng SPL(Search Processing Language), đượ c tạo để quản lý Big Data. Do đượ c phát triển từ Unix Piping và SQL nên Splunk có kh ả năng tìm kiếm d ữ li ệu, l ọc, sửa đổi, chèn và xóa dữ liệu.

2.2 Sơ đồ Splunk phổ biến

Hình 1 : Sơ đồ triển khai Splunk ph ổ biến trong doanh nghi ệ p

7

Trường đại học Hoa Sen Mô hình trên bao g ồm các thành phần như: +Nhiều thiết b ị Forwarders trung gian ph ục v ụ cho quá trình load, tính s ẵn sang cao, và cải thiện t ốc độ xử lý các event s ắ p tớ i. +Một Indexer liên k ết vớ i nhiều hệ thống. Vớ i nhiều search-peer(indexer) c ải thiện hiệu năng của quá trình nhậ p dữ liệu và tìm ki ếm. Nó giúp giảm thờ i gian tìm kiếm và cung c ấ p tính dự phòng cao. +Có nhiều đầu tìm kiếm. Những hệ th ống riêng bi ệt này sẽ phân phối bất k ỳ yêu cầu tìm kiếm trên tất cả các search- peer đã cấu hình trước đó để cải thiện hiệu năng tìm kiếm.

+Đầu tìm kiếm riêng biệt đượ c thể hiện ở đây để hỗ tr ợ ứng dụng Splunk’s Enterprise Security(ES). +Server triển khai. Hệ thống nay có th ể đượ c tích hợ p vớ i các dịch v ụ Splunk khác, hoặc triển khai độc lậ p. Nếu muốn triển khai hệ thống lớ n, một hệ thống độc lậ p là r ất quan tr ọng.

2.3 Splunk thu thậ p những gì? *Splunk thu th ậ p dữ liệu hệ thống do máy móc t ạo ra Dữ liệu hệ thống bao gồm nhiều hạng mục record của tất cả các hoạt động và hành vi- hành vi của khách hàng, giao dịch của user, hành vi c ủa hệ thống.

2.4 Splunk có thể làm gì? -Server Metrics

-Vulnerability Data

-Custom Applications

-Physical Security

-Windows registries

-Scripts

-Card key

-Patch Mgmt

-Server Logs

-Host Config

-DNS Logs

-Virtual Logs

-Host ID

-Database Logs

-Router

-Email Logs

-RAS VPN

-Application Logs

2.5 Splunk cung cấ p cho chúng ta những gì? Splunk cung c ấ p 1 giao di ện chung cho tất cả dữ liệu IT như tìm kiế m d ữ liệu, những c ảnh báo, những báo cáo(report), hay chúng ta có th ể chia sẻ dữ liệu đó cho một ai đó. Splunk cung cấ p giải pháp tìm ki ếm tối ưu.

2.6 Splunk, Giải pháp tối ưu cho Big Data? -Splunk tìm ki ếm những dữ liệu có liên quan v ớ i nhau, giúp thu h ẹ p phạm vi tìm kiếm , tiết kiệm thờ i gian, và làm cho công tác qu ản tr ị mạng tốt hơn.

8

Trường đại học Hoa Sen 2.7 Tại sao chọn Splunk? Splunk còn đượ c goi là Google c ủa log, có công c ụ search mạng mẽ nó chấ p nh ận d ữ li ệu ở b ất k ỳ định dạng nào.

Hình 2 : Các lo ại data , log mà Splunk index đượ c. Splunk tự động list ra thờ i gian cụ thể của từng sự kiện xảy trong hệ thống mà nó đang giám sát. Cảnh báo trong th ờ i gian th ực. Ta có thể ch ỉnh tùy chọn, định nghĩa các loại c ảnh báo và có th ể ch ỉ định ai nhận đượ c cảnh báo đó. Splunk cung c ấ p thông tin tìm kiếm thông minh: K ết quả tìm kiếm đượ c sắ p xế p hợ p lý, có liên quan v ớ i nhau, khả năng hiển thị thờ i gian thực, phân tích lịch sử các sự kiện đã xảy ra. Splunk có thể lưu trữ khối lượ ng dự liệu lớ n của hệ thống IT và dữ liệu này có thể có cấu trúc bất k ỳ, song tốc độ truy vấn dữ liệu nhanh. Tìm kiếm phân tán sử d ụng Map Reduce( 1 ph ần m ềm c ủa Google, phục v ụ cho việc tính toán phân tán các tậ p dữ liệu lớ n trên các cụm máy tính)

9


Hình 3 : Hệ thống index và tìm ki ếm đượ c phân phối giữa nhiều core Splunk. Dữ liệu cần tìm kiếm đượ c phân phối giữa nhiều cores Mỗi indexter xử lý tậ p hợ p con c ủa toàn bộ d ữ liệu và tạo ra một ph ần c ủa k ết quả tìm kiếm tổng thể r ồi đưa nó vào vào đầu của quá trình tìm ki ếm để giảm tải. Tham khảo: http://docs.splunk.com/Documentation/Splunk/6.0.2/installation/RunSplunkasadifferentornon-rootuser

3 Giải pháp vớ i Splunk 3.1 Quản lý các ứng dụng: 3.1.1 Giải quyết vấn đề nhanh hơn, giảm thờ i gian bị downtime: -Troublesshoot v ấn đề 1 cách nhanh chóng, gi ảm chi phí và giảm thời gian để điều tra và khắc phục sự cố tớ i 70%. -Giảm sự phức tạ p bằng cách cung cấ p cho các nhà phát triển đượ c truy cậ p vào log của ứng dụng thông qua 1 vị trí trung tâm mà không c ần quyền truy cậ p vào hệ thống đó. -Giám sát toàn bộ môi trườ ng ứng dụng của chúng ta trong th ờ i gian thực để ngăn chặn các vấn đề ảnh hưở ng tới ngườ i dung, giữ lại log từ các sự kiện định k ỳ để ngăn ngừa mất mát. -Nắm đượ c hoạt động của toàn bộ ứng dụng: -Truy vết và giám sát các giao d ịch của ứng dụng thông qua các tầng của kiến trúc phân tán và t ừ nhiều nguồn dữ liệu. -Phát hiện các bất thườ ng hoặc các vấn đề trong hoạt động, thời gian đáp ứng và chủ động giải quyết chúng trướ c khi nó ảnh hưở ng tới ngườ i dung ứng dụng.

10

Trường đại học Hoa Sen -Theo dõi số li ệu ho ạt động quan tr ọng như thời gian đáp ứ ng end-to-end, độ dài thông điệp hàng đợ i và đếm số lần giao dịch thất bại để đảm bảo ứng dụng đáp ứng đượ c nhu cầu cần thiết. -Nắm đượ c toàn bộ ho ạt động c ủa ứng d ụng trong thờ i gian thực trên toàn bộ cơ sở h ạ t ầng ứng d ụng của chúng ta. -Đạt đượ c cái nhìn toàn di ện v ề cách mà ngườ i dung sử d ụng d ịch v ụ c ủa chúng ta, từ đócó thể cung cấ p dịch vụ tốt hơn. -Làm phong phú h ệ thống của chúng ta bằng cách thêm các nguồn phi CNTT như giá cả cơ sở dữ liệu, thông tin khách hàng và thông tin v ị trí.

3.1.2 Tại sao Splunk là giải pháp tốt cho việc quản lý ứng dụng Không giống các công cụ quản lý truyền thống, splunk có th ể index, phân tích, khai thác d ữ liệu từ bất k ỳ tầng ứng dụng nào. Nó cung cấ p 1 góc nhìn trung tâm về toàn bộ hệ thống cơ sở hạ tầng của chúng ta. Ngôn ng ữ tìm kiếm trong splunk giúp ngườ i sử dụng so sánh các s ự kiện, các giao dịch và chỉ số hoạt động quan tr ọng khác. Quyền điều khiển đượ c trao cho nhi ều nhóm trong một t ổ chức. Những hiểu bi ết về d ữ li ệu ứng dụng có thể k ết hợ p vớ i thông tin có c ấu trúc như thông tin user hoặ c giá cả thông tin để doanh nghi ệ p quyết định tốt hơn. Nhà s ản xu ất quản lý hoạt động ứng d ụng AppDynamics và Extrahop đã phát triể n ừng d ụng Splunk để giúp khách hàng qu ản lý tốt hơn các dữ liệu ứng dụng như log, các sự kiện, hoạt động của cơ sở h ạ t ầng và nhiều hơn thế nữa.

3.2 Quản lý hoạt động IT Trung tâm IT dữ liệu trên toàn th ế giới đang trở nên cực k ỳ phức tạ p, với hàng trăm công nghệ khác nhau và thiết bị ở nhiều layer. Ảo hóa và điện toán đám mây cũng đang trở nên phức tạp, đặc biệt là các vấn đề liên quan đến hiệu su ất ho ạt động. Đội ngũ quả n tr ị và quản lý CNTT lãng phí nhi ều thờ i gian trong vi ệc di chuyển từ một giao diện điều khiển tớ i giao diện điều khiển khác , cố gắng theo dõi các dữ liệu cần thiết để đảm bảo hiệu suất và tính s ẵn sàng cao. Splunk cung cấ p 1 cách ti ế p c ận t ốt hơn mà không cần ph ải phân tích cú pháp hay tùy ch ỉnh nó. Splunk thu thậ p và lậ p indexes chứa tất cả dữ liệu đượ c tạo ra bở i hệ thống IT của chúng ta (hệ thống mạng, server, OS, ảo hóa, v.v.) . Nó hoạt động vớ i b ất k ỳ d ữ li ệu mà máy tạo ra, bao gồm log, file cấu hình, số liệu hiệu suất, SNMP trap và các ứng dụng log tùy ch ỉnh. + Giải quyết vấn đề nhanh hơn , giả m thờ i gian Downtime: Giúp nắm bắt đượ c hoạt động ảo hóa, hệ thống cloud private và public t ừ 1 giao diện trung tâm.

Giúp tìm đượ c nguồn gốc của vấn đề nhanh hơn 70% mà không cần phải tìm kiếm trong hệ thống ,server hay máy ảo. Quản lý hệ thống c ủa chúng ta trong th ờ i gian thực, ngăn ngừa v ấn đề x ảy ra trướ c khi nó ảnh hưở ng tớ i ngườ i dùng và có thêm kinh nghi ệm xử lý các sự kiện xảy ra định k ỳ để tránh mất mát. Chỉ cần 1 ngườ i qu ản lý có quyền truy cậ p tr ực tiếp, đảm bảo an toàn cho dữ liệu, giúp tránh leo thang đặc quyền.

+Tương quan các sự kiện ở tất cả các tầng layer của hệ thống: 11

Trường đại học Hoa Sen Tìm các liên k ết giữa ngườ i sử dụng, hiệu suất các sự kiện lien quan t ới cơ sở hạ tầng đượ c cung cấ p bở i splunk K ết hợ p phân tích dữ liệu thờ i gian th ực tương quan , so sánh vớ i hàng triệu terabytes dữ liệu lịch sử. Phân tích phát hi ện thành ph ần khả nghi có th ể giúp dự đoán và ngăn ngừa mất mát hoặc v ấn đề v ề hi ệu năng. Tồn tại dữ liệu từ khắp nơi trên mỗi tầng của trung tâm dữ liệu. Quản lý môi trườ ng của chúng ta để nhận biết đượ c s ự thay đổi, so sánh ngay lậ p t ức để biết độ thiếu h ụt hi ệu năng của h ệ thống, những vấn đề có sẵn hoặc vấn đề bảo mật, an ninh. + Giảm chi phí cung cấ p dịch vụ CNTT: Sử dụng sức mạnh và khả năng mở r ộng của splunk không ch ỉ cho hoạt động quản lý CNTT mà còn dùng để hỗ tr ợ kiểm toán, an ninh. Giảm số lượ ng các công cụ và k ỹ năng cần thiết để duy trì quản lý cơ sở hạ tầng phức tạ p của chúng ta.

3.2.1 Phân tích hoạt động IT: Splunk dùng trong ho ạt động phân tích IT cung c ấ p những hiểu biết toàn diện theo nhi ều tầng giúp cho định hướ ng của doanh nghiệ p tốt hơn tùy theo từng trườ ng hợ p cụ thể. Chủ động trong việc nhận di ện và khắc phục l ỗi d ịch vụ để đảm bảo sự hài long c ủa khách hàng và giúp tăng số lượ ng khách hàng s ử dụng.

Đạt hiệu quả trong quá trình ho ạt động do nắm bắt đượ c những nguy hi ểm tiềm tàng trong quá trình ho ạt động kinh doanh. Giúp đạt đượ c các mục tiêu kinh doanh b ằng cách cung cấ p tầm nhìn toàn diện trên toàn hệ thống công nghệ không đồng nhất, các dịch vụ, cách quản lý, lên k ế hoạch về dung lượ ng, phân tích mức sử dụng của ngườ i dùng và nhiều hơn nữa.

3.2.2 Giám sát cơ sở hạ tầng: +Máy chủ: Vớ i Splunk, chúng ta có th ể Chủ động giám sát các máy ch ủ và hiểu biết sâu hơn về hiệu suất, cấu hình, truy c ậ p và các lỗi phát sinh.

Tương quan hiệu suất máy chủ, các lỗi và dữ liệu sự kiện với ngườ i dùng, ảo hóa và ứng dụng thành phần để ngăn ngừa và khắc phục lỗi. Phân tích và t ối ưu hóa chi phí cho việc theo dõi dung lượ ng máy chủ, báo cáo an ninh trong th ờ i gian thực. +Hệ thống lưu trữ: Vớ i Splunk, chúng ta có th ể

Tương quan log, số li ệu hi ệu su ất và các sự ki ện t ừ h ệ th ống lưu trữ c ủa chúng ta vớ i máy chủ, m ạng và dữ liệu từ các ứng dụng để giải quyết các vấn đề và làm tăng sự hài long của khách hàng. Sử dụng công cụ phân tích mạnh mẽ để khắc phục sự cố trong thờ i gian thực và phân tích hi ệu suất hệ thống lưu trữ của chúng ta. Giảm thơi gian phát tri ển và cắt giảm chi phí b ằng việc dễ dàng tích hợ p vớ i các nhà cung c ấ p dịch vụ lưu tr ữ, như NetApp và EMC.

12

Trường đại học Hoa Sen +Hệ thống mạng: Vớ i Splunk, chúng ta có th ể: Giám sát và theo dõi dữ liệu mạng từ các thiết bị không dây, switch, router, firewall và trên nh ững thiết bi khác bằng cách sử dụng SNMP, Netflow, syslog, PCAP,v.v. Chủ động nhận di ện các vấn đề an ninh mạng và thực hiện phân tích vấn đề. Tương quan dữ li ệu m ạng vớ i các ứng d ụng, hệ th ống lưu trữ và phân tích máy ch ủ để gi ữ cho mạng c ủa chúng ta an toàn và hoạt động mọi lúc.

Đạt đượ c chỉ số ROI tối đa bằng cách tối ưu hóa dung lượ ng m ạng lướ i của chúng ta , xác định độ tr ễ, quản lý bang thông, xác định top 10 tài nguyên m ạng thường đượ c sử dụng và mô hình sử dụng.

3.2.3 Splunk cho hệ điều hành Splunk và ứng dụng của splunk có th ể giúp chúng ta:

Tương quan số liệu hệ thống và dữ liệu sự kiện vớ i cá dữ liệu ở các tầng công nghệ khác một cách dễ dàng. Tìm liên k ết giữa vấn đề hiệu suất ứng dụng và hệ điều hành, ảo hóa, hệ thống lưu trữ , mạng, và cơ sở hạ tầng máy chủ. Nắm đượ c toàn bộ ho ạt động hệ thống bằng cách cung cấ p b ảng điều khiển trung tâm sức kh ỏe hệ th ống xuyên suốt môi trường không đồng bộ. Nắm được năng lực hạn chế của hệ thống hoặc tình tr ạng nhàn r ỗi. Theo dõi những thay đổi và đả m bảo an ninh cho môi trườ ng của chúng ta bằng cách giám sát môi trườ ng để phát hiện những hoạt động bất ngờ, thay đổi vai trò c ủa ngườ i sử dụng, truy cậ p trái phép,v.v..

3.2.4 Quản lý ảo hóa Cơ sở hạ tầng ảo hóa tạo ra môi trường năng động, nơi mà tài nguyên máy tính như m áy chủ, storage, phần c ứng mang đượ c ảo hóa từ các ứng d ụng, hệ điều hành và ngườ i s ử d ụng. Môi trườ ng ảo ph ức t ạ p đòi hỏi cách tiế p cận mớ i vớ i các dịch vụ IT truyền thống như xử lý s ự cố hiệu suất, quản lý và phân tích r ủi ro. Ứ ng dụng ảo hóa của Splunk k ết hợ p sức manh và tính năng của Splunk Enterprise đượ c thiết k ế dành riêng cho công ngh ệ ảo hóa. Nó giúp tăng tố c dữ liệu thu thập được cơ sở hạ tầng ảo. K ết hợ p dữ li ệu hạ tầng ảo hóa vớ i dữ liệu t ầng công nghệ khác sẽ cho 1 góc nhìn bao quát hơn về hệ thống trung tâm dữ liệu. Splunk App cho ảo hóa có th ể tương thích và thu thậ p dữ liệu ảo hóa từ các công ngh ệ ảo hóa như WMware vSphere, Citrix XenServer và Microsoft Hyper-V, và công nghệ ảo hóa máy tính bàn như Citrix XenApp và Citrix XenDesktop. Nó t ạo các báo cáo đa dạng , đồ ng nhất về các công nghệ ảo hóa từ t ất c ả các lớ p ứng dụng và cơ sở h ạ tầng của chúng ta. Giúp chủ động ngăn chặn , quản lý vấn đề hiệu suất, tắc nghẽn cổ chai, những sự kiện bất ngờ , những thay đổi và lỗi an ninh bảo m ật nguy hiểm. Nó phân tích và báo cáo chính xác giúp cho ngườ i dùng có tr ải nghiệm tối ưu.

Tương quan dữ li ệu ảo hóa, giúp vi ệc tìm ra các sự kiện có liên quan một cách dễ dàng hơn, tương quan các vấn đề về hiệu năng, mạng và kiến trúc hệ thống máy chủ. 13

Trường đại học Hoa Sen Giữ lại số liệu về hiệu suất ho ạt động của máy để theo dõi và phân tích. Thu th ậ p dữ liệu có chiều sâu từ máy chủ, máy ảo, hệ thống máy tính. Cung cấ p khả năng hiển thị hoạt động và phân tích hoàn ch ỉnh bằng cách xác định khả năng của máy chủ, các máy ảo nhàn r ỗi, các máy chủ s ử d ụng đúng mức, s ức ch ứa d ữ liệu, theo dõi thống kê hiệu suất để tìm mô hình sử dụng và tránh khả năng tắt nghẽn có thể. Theo dõi những thay đổi và báo cáo v ề tài sản. theo dõi chi tiêt sự thay đổi mà ngườ i dùng th ực hi ện, t ự đông hóa các tác vụ của vSphere cũng như báo cáo tình trạng các thành phần ảo. Cải thiện an ninh bằng cách giám sát môi trường để tìm các hoạt động đáng ngờ , vai trò của ngườ i sử dụng bị thay đổi, truy cậ p trái phép và nhiều hơn nữa. Vớ i VMware vSphere -Splunk App cho VMware cung c ấ p khả năng hiển thị các hoạt động 1 cách chi tiết, hiệu suất, log, các tác vụ, sự kiện và lưu đồ từ máy chủ, các máy ảo và các trung tâm ảo hóa. Cung cấ p hình ảnh bao quát và chính xác về tình tr ạng s ức khỏe c ủa môi trườ ng ảo hóa, chủ động xác định các vấn đề v ề hi ệu su ất, b ảo mật, khả năng hoạt động và những thay đổi của máy ảo. - Nắm đượ c thông tin s ức khỏe máy ảo trong thờ i gian thực. Có thể xác định lậ p tức khu vực máy ảo, máy chủ có vấn đề. Phân tích dữ liệu theo thời gian để xác định xem nó có ảnh hưởng đến cấu hình tài nguyên. Nhận báo cáo chi tiết dựa trên mỗi 20s. Khám phá lỗi và các trườ ng hợ p ngoại lệ b ằng việc ch ỉ ra các sự kiện có liên quan t ớ i nhau bằng dữ liệu log VC và ESXi trong một giao diện điều khiển duy nhất. -Có thể biết đượ c tình tr ạng s ức khỏe của từng máy ảo. Tăng tốc độ troubleshoot nh ờ vào việc so sánh giữa các máy ảo vớ i nhau. -Chủ động trong vi ệc qu ản lý hành vi m ờ ám của user, các cuộc t ấn công tiềm năng bằng những báo cáo an ninh -Nắm bắt đượ c thông tin CPU, b ộ nhớ , ổ đĩa và dung lượ ng disk sử dụng trong thờ i gian thực. Chủ động cảnh báo khi thiếu h ụt dung lượ ng x ảy ra. Lấy l ại không gian lưu trữ không sử d ụng để cho ngườ i dùng có tr ải nghiệm t ối ưu. Sử d ụng xu hướ ng theo thờ i gian và t ối ưu hóa dựa trên tiêu th ụ. Dự báo thông tin CPU, bộ nhớ , nhu cầu ổ cứng cần thiết và hiệu năng của từng máy chủ, máy ảo VMs thông qua l ịch sử sử dụng tài nguyên c ủa máy ảo. Vớ i Citrix XenServer và Microsoft Hyper-V: -Cung cấ p góc nhìn theo th ờ i gian th ực về các yếu t ố như hiệu năng, chỉ s ố tiêu thụ tài nguyên , c ấu trúc liên k ết trên nền tảng máy chủ ảo hóa bằng cách sử dụng một khuôn kh ổ báo cáo chung. Nó bao g ồm một chuỗi các biểu đồ liên quan đến hoạt động IT, giám sát hoạt động, lên k ế hoạch khả năng chịu tải, và thay đổi theo dõi. -Dashboard Out-of-the-box cho 1 cái nhìn c ụ thể trong thờ i gian thực về tình tr ạng s ức khỏe c ủa máy ảo và máy chủ. -Đào sâu vào lưu đồ để cho cái nhìn chuyên sâu về hiệu năng, log, thay đổ i về cấu hình, các cảnh báo và hơn nữa. -Truy cậ p vào lịch sử dữ liệu cho việc phân tích và xử lý sự cố. -Cấu hình cảnh báo dựa trên k ịch b ản có sẵn cho các vấn đề thườ ng gặp như bộ nhớ, CPU, dung lượ ng ổ đĩa thấ p.

14

Trường đại học Hoa Sen -Giám sát và theo dõi tài nguyên mà máy ảo tiêu th ụ để hỗ tr ợ cho việc lên k ế hoạch về khả năng hoạt động của máy ảo. -Cho góc nhìn 360 độ về khả năng hiển thị máy ảo vớ i d ữ liệu từ tầng công nghệ khác giúp gi ải quyết và xử lý xự cố nhanh hơn.

3.3 An ninh trong lĩnh vự c IT 3.3.1 Mối đe dọa an ninh ngày một tăng: Hiện tại các phần mềm malware đã trở nên “tàng hình”, và thườ ng trông gi ống như một dịch hay 1 ứng dụng bình thường nào đó. Nó đượ c xây dựng để lây lan trên toàn b ộ h ệ th ống. K ẻ t ấn công có thể tùy ý nghiên cứu chỉnh sửa hệ thống của chúng ta, n ếu bị phát hiện, k ẻ tấn công có thể kích hoạt malware khác để tiế p t ục thu thậ p d ữ li ệu. Splunk có thể thu thậ p và index bất kì dữ li ệu nào mà không quan tâm đế n định dạng hoặc kích cỡ và thực hiện tìm kiếm tự động trên hàng petabyte d ữ liệu. Splunk có một ngôn ngữ lệnh phân tích mạnh mẽ, thông minh, giúp các nhà phân tích đặt ra những câu hỏi về bảo mật dựa trên dữ liệu của chúng ta. Cách ti ếp cân đặc biệt này giúp chúng ta ch ủ động trong việc tìm cá mối đe dọa bằng cách kiểm tra hoạt động của dữ liệu trong môi trườ ng hoạt động bình thườ ng.

3.3.2 Quản lý log: Phần mềm Splunk giúp khách hàng c ải thiện vấn đề phân tích dữ liệu log để quản lý việc kinh doanh c ủa họ tốt hơn. Splunk tự động index d ữ liệu, bất k ể có cấu trúc hay không c ấu trúc. , cho phép chúng ta nhanh chóng tìm ki ếm, báo cáo, và chẩn đoán các hoạt động và các vấn đề an ninh một cách ít t ốn kém hơn. Vớ i Spunk-việc quản lý log của chúng ta sẽ dễ hơn bao giờ hết.

3.3.3 Ứ ng dụng Splunk dành cho an ninh: Vớ i ứng dụng an ninh của Splunk chúng ta có th ể sử dụng số liệu thống kê trên bất k ỳ dữ liệu nào để tìm kiếm các mối đe dọa ti ềm ẩn, trong khi vẫn có thể giám sát liên t ục các mối đe dọa đa4 bị phát hiện b ở i những sản phẩm an ninh truyền thống.

Ứ ng dụng an ninh Splunk ch ạy ở phía trên Splunk Enterprise và cung c ấ p công c ụ để giám sát, cảnh báo và phân tích cần thiết để xác định và gi ải quyết các mối đe dọa đã biết và chưa biết. Nó phù hợ p với đội ngũ an ninh nhỏ hoặc một trung tâm hoạt động bảo mật. Bảng điều khiển an ninh cung c ấ p m ột cách xem hoàn toàn tùy bi ến v ớ i các từ khóa bảo m ật quan tr ọng trong lĩnh vự c an ninh domain. Ứ ng dụng an ninh Splunk ch ứa 1 thư viện dựng sẵn các số liệu an ninh để hỗ tr ợ ngườ i dùng nh ận di ện đượ c các tình huống và giám sát liên t ục các nguy cơ bảo mật trên domain. Và tất cả thông tin đó đều đượ c thể hiện rõ trên b ảng điều khiển Dash board. Tính năng xem xét lạ i các sự kiện đã xảy ra: Cung c ấ p chi ti ết quy trình công vi ệc phân tích cần thiết để các ưu tiên của vụ việc, bối cảnh của sự cố, loại của nó và các máy chủ có liên quan. Ch ỉ một click chuột và chúng ta có th ể thấy đượ c các dữ liệu thô mà ứng dụng an ninh splunk lưu trữ .

Tính năng bảo v ệ tài sản và điều tra nhận dạng m ối nguy hi ểm cung cấ p cho nhà phân tích an ninh kh ả năng xem xét các mối đe dọ a dựa trên một loạt các sự kiện an ninh. Đơn giả n chỉ cần chọn một khung thờ i gian sự ki ện ho ặc nhiều s ự kiện đại di ện cho những hoạt động đáng ngờ và Splunk sẽ t ự động hiển thị một bản tóm tắt mô hình an ninh. V ớ i 1 cú click chu ột, chúng ta có thể xem tất cả các dữ liệu thô đượ c đặt ra theo thứ tự thời gian, đưa ra 1 cái nhìn trực tiếp cho đồng nghiệ p hoặc tạo ra một tìm kiếm mới để xem các sự kiện đã xuất hiện này có ti ế tục xuất hiện hay không. Phân tích và dư đoán: Bảng điề u khiển phân tích cung c ấ p một điểm. Nhấp vào điểm đó sẽ hi ện các giải pháp để biết được hướng đi tương lai của điểm đó và dự báo giá tr ị dựa trên mô hình dữ liệu. Chỉ cần 15

Trường đại học Hoa Sen chọn ki ểu d ữ li ệu, b ất k ỳ đối tượ ng chứa ki ểu dữ li ệu đó, kiểu hàm trình di ễn, thuộc tính và chu k ỳ phân tích mà chúng ta muốn tạo. Danh sách các mối đe dọa: Splunk cung c ấ p d ịch v ụ out-of-the-box h ỗ tr ợ cho 18 mã ngu ồn mở đe dọa tớ i d ữ li ệu nhằm tăng thêm tính bả o mật cho hệ th ống c ủa chúng ta. Splunk cho phép chúng ta thêm mã nguồn mở của riêng chúng ta và ngu ồn cung cấ p dữ liệu thanh toán ch ỉ vớ i vài click chu ột mà không c ần một cam k ết d ịch vụ. Splunk còn công tác vớ i trung tâm bảo mật Norse Security, 1 trung tâm b ảo mật uy tín toàn cầu. Splunk còn cho khách hàng c ảm giác tr ải nghiệm dịch vụ an ninh Splunk cho h ệ thống doanh nghiệ p trong vòng 30 ngày.

4 Các tính năng chính trong hoạt 4.1 Map Reduce

động Giám sát mạng của Splunk

4.1.1 Map reduce là gì? Mapreduce là 1 phương thứ c thực thi để giúp các ứng dụng có thể xử lý nhanh 1 lượ ng dữ liệu lớ n(big data). Các dữ liệu này được đặt t ại các máy tính phân tán. Các máy tính này s ẽ hoạt động song song độc lậ p với nhau. Điều này làm rút ngắn thờ i gian xử lý toàn bộ d ữ li ệu. D ữ li ệu đầu vào có thể là dữ li ệu có cấu trúc ( dữ liệu lưu trữ dạng bảng quan hệ 2 chiều ) hoặc dữ liệu không cấu trúc ( dữ liệu dạng tậ p tin hệ thống )

4.1.2 Ưu điểm của mapreduce Xử lý tốt bài toán về lượ ng dữ liệu lớ n có các tác vụ phân tích và tính toán ph ức tạp không lường trướ c đượ c Có thể tiến hành chạy song song trên các máy phân tán 1 cách chính xác và hi ệu quả. Dữ liệu hoạt động một cách độc lậ p, không cần phải theo dõi x ử lý các tác vụ, xử lý lỗi. Có thể th ực hiên mô hình Mapreduce trên nhi ều ngôn ngữ (Java,C++,Python,Perl,Ruby,C) với các thư viện tương ứng.

4.1.3 Nguyên tắc hoạt động của Mapreduce Mapreduce hoạt động gồm 2 quá trình th ực hiện 2 hàm "Map" và "Reduce"

Ý tưở ng chính c ủa Mapreduce chính là thực hiện việc "Chia để tr ị" -Chia vấn đề cần xử lý (dữ liệu ) thành các ph ần nhỏ để xử lý -Xử lý các vấn đề nhỏ đó 1 cách song song trên các máy tính phân tán hoạt động độc lậ p -Tổng hợ p các k ết quả thu được để đưa ra kết quả cuối cùng

Như vậy toàn bộ quá trình mapreduce có th ể hiểu như sau -Đọc dữ liệu đầu vào -Thực hiên xử lý các phần dữ liệu vào (xử lý từng phần một ) (Thực hiện hàm Map) -Tr ộn và sắ p x ế p các k ết qu ả thu đượ c t ừ các máy tính làm sao để đượ c k ết qu ả ti ện l ợ i nh ất so vớ i mục đích của quá trình -Tổng hợ p các k ết quả trung gian thu đượ c từ các máy tính phân tán (Th ực hiện hàm reduce) -Đưa ra kết quả cuối cùng 16


Hình 4 : Sơ đồ hoạt động của Mapreduce

4.1.4 4.Chi tiết 2 hàm Map và Reduce Thay vì định nghĩa dữ liệu dướ i dạng bảng giá tr ị có quan hệ , Mapreduce thực hiện định nghĩa dữ liệu dướ i dạng các cặ p gồm Đối vớ i 1 t ệ p tin "key" có th ể là tên của tệp tin đó còn "value" có thể là nội dung c ủa tệ p. Một ví dụ khác "key" là địa chỉ 1 trang web còn value là s ố lần ngườ i dùng truy cập trang web đó. Hai hàm Map và Reduce tậ p trung xử lý dữ liệu dướ i dạng các cặp như trên Hàm Map: Dữ li ệu được đưa vào hàm map là các dữ li ệu đã đượ c ph ần nh ỏ thành các ph ần. Đầu vào của hàm Map là các cặ p . Sau khi x ử lý toàn bộ d ữ liệu đầu vào (gồm nhiều ph ần sau khi đượ c phân nhỏ) k ết quả thu đươc là tậ p hợ p gồm các cặ p . Các dữ liệu này đượ c gọi là các dữ liệu trung gian Các dữ liệu trung gian này có th ể đượ c ghép lại với nhau theo danh sách các khóa để thuận tiên cho quá trình reduce sau này Hàm Reduce:Từ dữ liệu đầu ra của hàm map (gồm danh sách các cặ p ) c ủa các máy tính phân tán, hàm reduce thực hiện việc t ống hợ p các giá tr ị này lại. K ết quả đầu ra là các cặp đã đượ c xử lý Quá trình thực hiện mapreduce vớ i bài toán "WordCount"

17


Hình 5 : Ví d ụ minh họa cách Mapreduce hoạt động. Hàm Map:

Input: 1 dòng văn bả n Output:Danh sách các c ặ p ứng vớ i từng chữ trong dòng văn bản đó. Trong đó "key" là chữ ,value=1. Hàm Reduce: Input :danh sách các cặ p key, giá tr ị đếm đượ c của mối từ. Output: key=t ừ trong cả đoạn, value=số lượ ng từ tương ứng trong đoạn.

18

Trường đại học Hoa Sen 4.1.5 Thực thi Mapreduce trong hệ thống -Phân nhỏ dữ liệu đầu vào

Thông qua thư viện Mapreduce ứng vớ i từng ngôn ng ữ , chương trình có nhiệ m vụ phân mảnh tệ p dữ liệu đầu vào. Dữ liệu vào đượ c chia thành các ph ần nhỏ.

Hình 6 : Phân nh ỏ dữ liệu đầu vào -Sao chép chương trình

Chương trình mapreduce làm nhiệ m vụ sao chép chương trình chạy thành các tiến trình song song lên các máy tính phân tán. Các máy gồm có Master và Worker. Trong đó máy Master làm nhiệm vụ điều phối sự hoạt d ộng c ủa quá trình thực hi ện Mapreduce trên các máy Worker. Các máy Woker làm nhi ệm v ụ th ực hiên quá trình Map và Reduce v ớ i dữ liệu mà nó nhận đượ c

Hình 7 : Sao chép chương trình -Thực hiện hàm Map

19

Trường đại học Hoa Sen Máy master sẽ phân phối các tác vụ Map và Reduce vào các worker đang rảnh r ỗi. Các tác vụ này đượ c Master phân phối cho các máy dựa trên vị trí của d ữ li ệu liên quan trong h ệ th ống. Máy Woker khi nh ận đượ c tác vụ Map sẽ đọc d ữ li ệu mà nó đượ c nh ận t ừ phân vùng d ữ li ệu đã gán cho nó và thự c hi ện hàm Map. K ết qu ả đầu ra la các cặ p trung gian. Các c ặp này được lưu tạm trên bộ nh ớ đệm c ủa các máy.

Hình 8 : Th ực hiện hàm Map cho ra k ết quả . -Sau khi thực hiện xong công vi ệc Map . Các máy Worker làm nhiệm vụ chia các giá tr ị trung gian thành R vùng (tương ứng vớ i R tác vụ Reduce) lưu xuống đĩa và thông báo kết quả ,vị tr ị lưu cho máy Master

Hình 9 : Thực hiện hàm Reduce và thông báo k ết quả cho Master. -Thực thi tác vụ Reduce Master sẽ gán các giá tr ị trung gian và v ị trí của các dữ liệu đó cho các máy thực hiện công việc Reduce. Các máy reducer làm nhi ệm vụ xử lý sắ p xế p các key, thực hiện hàm reduce và đưa ra kết quả cuối.

20


Hình 10 : Thông báo chương trình mapreduce hoàn tấ t và k ết quả được lưu trữ trên R tậ p tin. -Thông báo k ết quả. Master sẽ kích hoạt thông báo cho chương trình người dùng quá trình mapreduce đã hoàn tấ t. K ết quả đầu ra được lưu trữ trên R tậ p tin.

4.2 Hướ ng dẫn tìm kiếm và sử dụng Splunk hiệu quả Chìa khóa để tạo một câu lệnh tìm ki ếm hiệu quả đó chính là tậ n dụng lợ i thế của index. Index của Splunk là một kho từ lớ n và nhân tố ảnh hưở ng tớ i k ết quả tìm kiếm, đó là có bao nhiêu event đượ c lấy ra từ disk.

4.2.1 Một số điều cần lưu ý khi tìm kiế m dữ liệu trong Splunk: - Splunk không phân bi ệt chữ hoa, thườ ng. Các từ ngữ tìm kiếm như error, ErRoR, ERROR đề u tr ả về k ết quả tìm kiếm như nhau. - Splunk truy vấn dữ liệu tại một thờ i gian cụ thể. - Có thể k ết hợ p các t ừ khóa tìm ki ếm vớ i Bolean (AND , OR ,NOT..) hoặc nhóm các điều kiện vớ i nhau để tìm kiếm hiệu quả hơn. Bolean khi sử dụng phải viết hoa. - T ừ khóa tìm ki ếm phải nguyên 1 t ừ, không phải 1 phần c ủa t ừ. Tìm kiếm t ừ khóa “foo” sẽ không khớ p vớ i k ết quả “foobar”. - Từ khóa là những từ đượ c bao quanh bở i khoảng cách hoặc dấu chấm câu. Ví dụ 1 đoạn log 2014-02-14 Hello world thì t ừ khóa đượ c index là 2014,02,14,Hello,world. - Con số chưa phải là định dạng số cho tớ i khi nó đượ c phân tích tại thời điểm tìm kiếm. - Tên của các field phải viết thườ ng. Ví dụ: host=hoasen s ẽ hoạt động, Host=hoasen s ẽ không hoạt động.

21

Trường đại học Hoa Sen 4.2.2 Tìm hiểu về Boolean và nhóm các điều kiện - AND k ết quả tìm kiếm phải thỏa cả hai giá tri. Ví d ụ : error AND mary. - OR k ết quả tìm kiếm chỉ cần thỏa 1 hay cả hai giá tr ị. Ví dụ : error OR mary - NOT áp dụng cho điều kiện tìm ki ếm tiếp theo đó. Ví dụ : error NOT mary. K ết quả sẽ tìm kiếm các event có từ error và không ch ứa từ mary. - ” “ dùng để tìm một câu th eo đúng thứ t ự. Ví dụ: “Out of order” . Kế t qu ả tìm kiếm s ẽ tr ả v ề câu theo đúng thứ tự. Nếu không dùng “ “ vớ i câu khi tìm ki ếm, k ết quả tìm kiếm có thể sẽ không đúng theo thứ tự các từ trong câu. - () dùng để nhóm các điều kiện. ví dụ ( bob AND (error OR mary)) AND NOT debug - = được dành riêng để xác định các fields - [ ] dùng để thực hiện subsearch(tìm ki ếm con)

4.2.3 Sử dụng * để tìm kiếm 1 cách hiệu quả -Mặc dù index dựa vào từ để tìm kiếm nhưng ta có thể dùng * khi ta không bi ết chính xác từ đó. -Nên sử dụng * sau cùng, sau khi đã áp dụ ng các từ khóa tìm kiếm trướ c mà vẫn không tìm đượ c k ết quả như ý. Ví dụ: Bob* sẽ cho k ết quả tìm kiếm Bobby

4.2.4 Tìm kiếm các sự kiện bằng thờ i gian -Có thể tùy chỉnh thời gian để xem trong khoảng thời gian bao nhiêu phút đã có bao nhiêu sự kiện xảy ra

Hình 11 : Ví d ụ tìm các sự kiện xảy ra trong 60 phút trướ c. -Có thể dùng lệnh tìm kiếm bằng thờ i gian trên thanh search

+ Để tìm kiếm error ảnh hưở ng user bob trong 60 phút v ừa qua, sử dụng earliest = -60m bob error + Để tìm kiếm error ảnh hưở ng user bob trong 3 gi ờ trướ c, sử dụng earliest = -3h@h bob error + Để tìm kiếm error ảnh hưở ng user bob ngày hôm qua, s ử dụng earliest = -1d@d latest = -0d@d bob error + Để tìm kiếm errors ảnh hưở ng user bob từ thứ hai lúc nửa đêm, sử dụng earliest = -0@w1 bob error

4.2.5 Chia sẻ k ết quả tìm kiếm với ngườ i khác -Sau khi tìm đượ c các k ết quả mong muốn ta có thể nhấn chọn Save& share result t ừ menu Save

22


Hình 12 : Lưu và chia sẻ k ết quả tìm kiếm. -Nó sẽ mở ra panel Save and Share Results

Hình 13 : K ết quả có thể đượ c chia sẻ dướ i dạng link. -Phía dưới dòng Link tho the results là link URL đế n k ết quả tìm kiếm mà ta muốn chia sẻ . Chỉ cần copy link URL và gửi cho ngườ i ta cần chia sẻ.

4.2.6 Lưu kết quả tìm kiếm để sử dụng lại -Chọn Save search từ menu Save

Hình 14 : Lưu kết quả tìm kiếm -Cửa sổ Save Search xuất hiện:

23

Trường đại học Hoa Sen Hình 15 : Những k ết quả phải thỏa những điều kiện đượ c thiết lậ p mới được lưu. -Nhậ p vào giá tr ị cho Search name, trong hình là ,errors affecting mary. Th ờ i gian là từ 24h trướ c. Có thể tùy chọn private hoăc chia sẻ cho user khác. -K ết quả search sẽ xuất hiện trong menu Searches & Report dướ i Error

Hình 16 : K ết quả tìm kiếm sẽ xuất hiện trong menu Search & Report.

4.2.7 Tạo alerts từ k ết quả tìm kiếm -Từ menu Create chọn alert

Hình 17 : T ạo một alert. -Menu Create Alert xuất hiện

Hình 18 : Đặt tên alert và điề u kiện để kích hoạt alert. Hình 19 : Ch ạy k ết quả tìm kiếm event mỗi giờ , khởi động arlet khi k ết quả tìm kiếm lớn hơn 0. +Option Trigger in real-time whenever result matches có nghĩa là kết quả tìm kiếm sẽ chạy theo thờ i gian thực và sẽ tự động cảnh báo khi tìm thấy event.

24


Hình 19 : Ch ạy k ết quả tìm kiếm event mỗi giờ , khởi động arlet khi k ết quả tìm kiếm lớn hơn 0.

+Option Run on a schedule once every… : làm xuất hiện nhiều option khác

Hình 20 : Nếu số lượng event tìm được trong 5 phút bé hơn 5 thì kích hoạ t alert. +Monitor in real-time over a rolling window of…: rấ t hữu ích trong vi ệc tạo cảnh báo. Ví dụ nếu số lượ ng event diễn ra trong 1 phút dướ i 100 thì gửi cảnh báo. -Sau khi tùy chỉnh xog, nhấn Next để qua phần Action

25


Hình 21 : Các option trong Alert. -Bảng action giúp chúng ta quy ết định sẽ làm gì đối vớ i k ết quả của alert. Một số option: +Send mail:gửi mail dựa trên danh sách e- mail đã nhậ p. +Run a script: chạy script vớ i k ết quả của quá trình tìm ki ếm. +Show triggered alerts in Alert manager: Li ệt kê các alerts ph ổ biến trong Saved search -Sau khi xong các tùy ch ọn, có thể nhấn Next và thực hiện chức năng Sharing nếu có nhu cầu.

4.3 Table , chart trong Splunk 4.3.1 Giớ i thiệu một số hàm cơ bản trong việc tạo table -Hàm pipe (|) trong splunk dùng để đưa kết quả output của 1 tiến trình thành input cho 1 ti ến trình khác. -Một số hàm để tạo fields :eval, rex -Hàm lọc event: head, where -Hàm thay thế event vớ i report : top, stats

4.3.2 Ví dụ về một table cụ thể: -Sử dụng câu lệnh search: source=”impl_splunk_gen” error | top logger. Kế t quả tìm kiếm tr ả v ề là một table 26


Hình 22 : Một table dạng số. -Sau đó có thể nhấn vào icon chart phía trên table để chuyển đổi table thành chart

Hình 23 : Một table dạng chart. -Một dạng khác của chart là timechart, dùng để biểu diễn dữ liệu số theo thờ i gian +Gõ câu lệnh sourcetype= “impl_splunk_gen” error |timechart count

Hình 24 : Bi ểu đồ chart dữ liệu nhận đượ c trong một khoảng thơi gian. -Formating options phía trên chart cho ta nhi ều lựa chọn tùy biến

27


Hình 25 : Các tùy ch ọn formating của chart.

28

Trường đại học Hoa Sen 4.4 Dashboard Dashboard là công c ụ giúp chúng ta n ắm b ắt, nhóm và tùy ch ỉnh các bảng , biểu đồ một cách hiệu qu ả. Nó chứa nhiều bảng thông tin, m ỗi bảng chạy một truy vấn khác nhau. Mỗi dashboard có 1 link URL riêng biệt, d ễ dàng trong vi ệc chia sẻ. Dashboard có th ể tùy bi ến, tùy chỉnh hiển th ị các giá tr ị c ần thiết, thanh tìm ki ếm trong Dashboard đượ c loại bỏ. Nhiều công ty sử dụng dashboard trên máy chi ếu của họ để đưa 1 cái nhìn lướ t qua về môi trườ ng của công ty t ớ i khách hàng. Dashboard còn có th ể lậ p lịch để send file pdf bằng email Ví dụ về một dashboard cơ bản:

Hình 26 : Ví d ụ về một dashboard cơ bản.

29

Trường đại học Hoa Sen 4.4.1 SEARCH LANGUAGE trong Splunk 4.4.2 Định nghĩa chức năng một số hàm tìm kiếm Các lệnh tìm kiếm Lệnh abstract accum Addcoltotals Addinfo

Addtotals Append appendcols Audit chart Cluster Collect, stash concurrency convert crawl Dbinspect dedup Delete Diff erex

Lệnh

Mô tả Đưa ra các bản tóm tắt cho mỗi k ết quả tìm kiếm. Giữ hoạt động của 1 s ố trườ ng số cụ thể. Tính toán s ự kiện chứa các trườ ng số cho sự kiện trước đó. Thêm 1 trườ ng chứa các thông tin về các lệnh tìm ki ếm thong thườ ng của lệnh tìm kiếm hiện tại. Tính t ổng các trườ ng s ố cho mỗi k ết quả. Thêm các k ết quả của subsearch cho k ết quả hiện tại Thêm vào trườ ng của k ết quả subsearch vào k ết quả hiện tại. Tr ả lại những thông tin đượ c chứa trong audix index. Tr ả lại k ết quả trong 1 bản, dữ liệu đầu ra là dạng biểu đồ. Gom, tổng hợ p những sự kiện tương tự. Đem những k ết qu ả tìm kiếm vào index tóm t ắt. Dùng những trườ ng tồn tại để kiếm số sự kiện đồng thờ i của từng sự kiện. Chuyển đổi trườ ng giá tr ị sang giá tr ị số. Thu thậ p file hệ thống làm tài nguyên cho index m ớ i. Tr ả lại thông tin cho 1 index c ụ thể nào đó. Xóa các chuỗi k ết quả ứng vớ i các tiêu chí c ụ thể. Xóa các sự kiện cụ thể hoặc tìm kiếm k ết quả Tr ả về sự khác nhau gi ữa 2 k ết quả tìm kiếm. Cho phép chỉ định ví dụ hoặc đếm giá tr ị ví dụ để t ự động xuất ra những trườ ng có giá tr ị tương đương. Mô tả 30

Xem thêm Highlight Delta,streamstats, trendline Stats Search

Stats appendcols, appendcsv, appendlookup, join, set Append, join, set, appendcsv

bucket, sichart, timechart anomalies, anomalousvalue, cluster, kmeans, outlier overlap timechart eval

uniq

extract, kvform, multikv, regex, rex, xmlkv Xem thêm

Trường đại học Hoa Sen Eval Eventcount Extract, kv Eventstats filldown fillnull findtypes format Genttimes Head history Input Multisearch overlap rangemap Rare Replace return run sort table tail uniq

Tính toán các hàm và đẩy giá tr ị vào 1 trườ ng. Tr ả về số sự kiện trong index. Xuất ra trườ ng giá tr ị từ k ết quả tìm kiếm. Chèn tóm t ắt vào tất cả các giá tr ị tìm kiếm. Thay thể giá tr ị r ỗng vớ i giá tr ị cuối cùng không ph ải là r ỗng. Thay th ế giá tr ị r ỗng vớ i 1 giá tr ị cụ thể. T ạo ra 1 danh sách đề nghị các loại sự kiện. Lấy k ết quả của Subsearch và định dạng của nó vào 1 k ết quả riêng. Khở i tạo thờ i gian tìm kiếm k ết quả. Tr ả v ề k ết qu ả đầu tiên c ủa 1 k ết tìm kiếm. Tr ả về lịch sử tìm kiếm, định dạng như là 1 danh sách sự kiện hoặc như là 1 bả ng. Thêm dữ liệu vào splunk ho ặc làm vô hi ệu hóa các nguồn từ splunk. THực hiện 1 lúc nhiều quá trình tìm kiếm. Tìm sự kiện trong index tóm t ắt mà bị trùng thờ i gian hoặc bị mất. Thiết lập trườ ng khoảng các tên Hiển thị các giá tr ị ít nhất trong 1 trườ ng. Thay thể giá tr ị 1 trườ ng cụ thể vớ i 1 giá tr ị mớ i cụ thể. Chỉ ra gia tr ị để tr ả về từ 1 subsearch Hiển thị script Sắ p xế p k ết quả tìm kiếm bở i 1 trườ ng cụ thể. Tạo ra 1 bảng sử dụng các trườ ng cụ thể Tr ả về giá tr ị cuối cùng . Xóa các tìm kiếm có trùng vớ i k ết quả trước đó.

31

where Dbinspect kvform, multikv, xmlkv, rex stats Fillnull

typer

Reverse, tail search

Append,join collect

sirare, stats, top

format, search reverse fields Head, reverse dedup


Các định dạng biến ngày tháng, giờ . Biến thờ i gian Biến %Ez %H %I %k %M %p %S %T

Mô tả Splunk chỉ ra vùng thờ i gian trong phút. Giờ ( định dạng 24h ) là số decimal gồm từ 00 tớ i 23 Giờ ( định dạng 12 ) bao gồm số từ 01-12 Giống %H nhưng số 0 ở đầu bị thay thế bằng khoảng tr ắng ( 0 tớ i 23) Phút, là số decimal ( 00 t ớ i 59) AM hoặc PM Giây , là số decimal ( 00 tớ i 60 ) Thờ i gian trong 24 gi ờ , định dạng ( %H:%M:%S)

Biến dữ liệu Biến %F %A %d %e %j %w Biến tháng

Mô tả ĐỊnh dạng %Y-%m-%d ( theo chuẩn ISO 8601 định dạng ngày tháng) Cả tuần ( chủ nhật tớ i thứ 2) Ngày trong tháng, là s ố decimal gồm các số từ 01 tớ i 31 Như %d nhưng số 0 đầu tiên thay bằng khoảng tr ắng ( từ 1 tớ i 31 ) Số ngày trong năm , là số decimal gồm các số từ 001 tớ i 366 Thứ trong tuần bằng số decimal ( Sunday=0,….. Satuday =6)

Biến %b %B %m

Mô tả Tên viết tắt tên tháng (Jan, Feb, etc.) Tên đầy đủ của tháng . (January, February, etc.) Tháng đặt theo số decimal ( 01 – 12 )

Biến năm Biến %y %Y

Mô tả Số năm theo dạng decimal ( 00-99) Số năm theo dạng đầy đủ (2014)

32

Trường đại học Hoa Sen 4.4.3 Một số cú pháp search language trong splunk: Chú thích:

*(….):đặt ở đầu câu lệnh search nhằm báo r ằng đã có tác vụ tìm kiếm nào đó trước khi đưa vào pipe

* | : đặ t ở đầu câu lệnh search nhằm ngăn không cho thêm vào trướ c câu lệnh tìm kiếm. +administrative

Xem thông tin c ủa index “audit” Thu thập thông tin root và thư mục gốc sau đó add k ết quả tìm đượ c vào file inputs.conf Hi n thị bi u đồ trong kho ảng thờ i gian một ngày Tr ả về giá tr ị “host” cho các sự kiện trong index “_internal” Tr ả về thông tin typehead cho sources trong index “_internal” +alerting

Index=_audit | audit |crawl root=”/;/Users/” | input add | dbinspect index=_internal span=1d | metadata type=hosts index=_internal | typehead index=_internal

prefix=source

Gửi k ết quả tìm kiếm tớ i một địa chỉ mail cụ th +add

… | sendmail to=”[email protected]”

Lưu lại số lần xuất hiện của “total_count” Thêm thông tin về tìm kiếm cho mỗi event Tìm kiếm các event “404” và thêm các fields trong mỗi sự kiện vào các k ết quả tìm kiếm trướ c. So sánh biến ‘count’ vớ i giá tr ị trước đó của nó và lưu kết quả vào ‘coundiff’ Trích xuất giá tr ị “7/01” và đưa vào thuộc tính ngày tháng Thiết lậ p tốc độ về dạng distance/time Trích xuất giá tr ị và thiết lậ p lại quá trình tr1ich xuất field từ ổ đĩa Trích xuất giá tr ị giớ i hạn bởi “|;” và “=:”. Thêm thông tin về địa chỉ ip Trích xuất giá tr ị từ “eventtype” nếu file đó tồn tại Đặt range là “green” nếu giá tr ị date_second t ừ 130; “blue” nếu từ 31-39, “red” nếu từ 40-59 và “gray” là các giá trị còn lại. Tính toán sự liên quan c ủa phép tính tìm ki ếm và sắ p xế p k ết quả theo thứ tự giảm dần Trích field d ữ liệu “author” từ định dạng XML hoặc JSON (áp dụng cho sách) Thêm field “comboIP”. Giá trị của nó = “”sourceIP” + “/” + “destIP”” +convert

… | accum count AS total_count … | addinfo … | appendcols [search 404]

count=10

… | delta count AS countdiff … | erex monthday examples=”7/01” … | eval velocity=distance/time … | extract reload=true … | extract pairdelim=” |;”, kvdelim=”=:”, auto=f … | iplocation … | kvform field=eventtype … | rangemap field=date_second green=1-30 blue=31-39 red=40-59 default=gray Disk error | relevancy | sort – relevancy

… |spath output=author path=book{@author} … | strcat sourceIP “/” destIP comboIP

Chuyển đổi giá tr ị của t ất c ả field thành giá tr ị số … | convert auto(*) none(foo) ngoại tr ừ giá tr ị của field “foo” 33

Trường đại học Hoa Sen Thay đổi giá tr ị memory trong field “virt” thành Kilobytes. Thay đổi định dạng đơn vị của syslog(D+HH:MM:SS) thành giây Chia giá tr ị “foo” thành nhiều giá tr ị K ết hợ p giá tr ị của field gửi thành một giá tr ị và hiển thị 10 giá tr ị đầu tiên(Dùng trong ho ạt động sendmail) +filter

… | convert memk(virt) … | convert dur2sec(delay) … | makemv delim=”:” allowempty=t foo Eventtype=”sendmail” | nomv senders | top senders

Giữ field “host” và “ip” và hiể n thị theo thứ tự … | fields + host, ip “host”, “ip” Xóa field “host” và “ip” … | fields – host, ip +modify Xây dựng biểu đồ thờ i gian các s ự kiện web của host và điền các fields tr ống = NULL Thay đổi field “_ip” thành “IPAddress”. Thay đ i các host có giá tr ị k ết thúc là localhost thành localhost +formatting

Sourcetype=”web” | timechart count by host | fillnull value=NULL … | rename _ip as IPAddress … | replace *localhost with localhost in host

Hiển th ị b ảng tóm tắt 5 dòng cho mỗi k ết qu ả tìm … | abstract maxlines=5 kiếm So sánh giá tr ị “ip” của k ết qu ả tìm kiếm th ứ nh ất … | diff pos1=1 ps2=3 attribute=ip và thứ ba Làm nổi bật các từ “login” và “logout” … | highlight login,logout +delete Xóa events có t ừ “invalid” trong index “imap” +summary

Index=imap invalid | delete

Đặt events “download” trong index tên là Eventtypetag=”download” “downloadcount” index=downloadcount Tìm events trùng l ặp trong “summary” Index=summary | overlap +reporting Tính tổng các fields s ố của mỗi k ết qu ả và để vào fields “sum” Phân tích fields s ố để dự đoán giá trị “is_activated” Tr ả về số lượng events trong index “_internal” Loại bỏ các giá tr ị trùng lặ p cùng giá tr ị “host” và tr ả về tổng số lần trùng lặ p Tìm log truy cậ p và tr ả về 100 giá tr ị dầu tiên của “referrer domain” Tính toán giá tr ị trung bình c ủa “CPU” mỗi phút của từng “host” Tính toán trung bình “CPU” và “MEM” mỗ i phút trên mỗi “host” Định dạng lại k ết quả tìm kiếm

|

collect

… | addtotals fieldname=sum … | af classfield=is_activated | eventcount index=_internal … | stats dc(host) Sourcetype=access_combined | top limit=100 referer_domain | stats sum(count) … | timechart span=1m avg(CPU) by host

… | timechart span=1m eval(avg(CPU) * avg(MEM)) by host … | timechart avg(delay) by host | untable _time 34

Trường đại học Hoa Sen host avg_delay +results Tr ả về những events bất thườ ng Xóa k ết quả trùng cùng giá tr ị host Join k ết quả của nó với field “id” Tìm từ ngày 25/10 đến nay Tìm events đượ c tạo ra bở i job vớ i id=123.2 Tr ở về 20 k ết quả đầu tiên Tr ở về 20 k ết quả cuối cùng Hiển thị events từ file “messages.1” nếu events đượ c indexed vào splunk Xuất k ết quả tìm kiếm ra file csv “mysearch.csv” +search

… | anomalies … | dedup host … | selfjoin id | gentimes start=10/25/14 | loadjob 123.2 events=t … | head 20 … | tail 20 | inputcsv all.csv | search error | outputcsv errors.csv … | outputcsv mysearch

Giữ k ết quả tìm kiếm có giá tr ị “src” và “dst” định Src=”10.9.165.*” OR dst=”10.9.165.8” trướ c Tìm giá tr ị “URL” chứa chuỗi “404” hoặc “303” |set diff [search 404 | fields url] [search 303 | fields url] nhưng không phải cả hai

Tham khảo: https://sites.google.com/site/chapterhut/hoc-tap/mon-hoc/map-reduce

4.5 Splunk Forwarder Nhiệm vụ của Splunk Forwarder là forward d ữ liệu về Splunk server để index.

4.5.1 Các loại Forwarder: Universal forwarder là m ột lightweight forwarder m ớ i của splunk. Nó có ch ức năng thu thậ p dữ liệu từ nhiều input và forward d ữ liệu tới Splunk server để index(chứa) và tìm kiếm Light forwarder là một phiên bản nhỏ của forwarder, được lượ c bỏ hầu hết các tính năng của Splunk full nhằm phục vụ cho mục đích tối ưu, nó không phân tích mà chỉ forward dữ liệu tớ i hệ thống Splunk Enterprise ho ặc hệ thống của bên thứ ba(third-party). Light forwarder nh ẹ và cấu hình đơn giản. Nó ít đượ c sử dụng ở phiên bản splunk 6.0. Heavy forwarder là phiên b ản Splunk full, v ớ i m ột vài tính năng được lượ c b ỏ để t ối ưu hóa. Nó là mộ t loại forwarder, có thể phân tích d ữ liệu và forward d ữ li ệu t ớ i H ệ th ống Splunk Enterprise khác ho ặc hệ thống third-party khác. Nó không có kh ả năng thực hiện tìm ki ếm phân phối. Nhiều chức năng mặc định của nó như splunk web có thể b ị disable để t ối ưu hơn. Nó cũng có thể index(chứa) d ữ li ệu n ội b ộ trong khi forward d ữ li ệu t ớ i m ột Splunk index khác. Nó chi ếm g ấp đôi dung lượ ng bộ nhớ , CPU so vớ i Light Forwarder và cấu hình phức tạp hơn.

4.5.2 So sánh universal forwarder vớ i Splunk full: Mục đích duy nhất của universal forwarder là forward d ữ liệu. Nó không th ể index dữ liệu hoặc tìm kiếm dữ liệu. Universal forwarder có một số hạn chế:

+Không có tính năng tìm kiế m , index(chứa dữ liệu), hay tính năng cảnh báo. 35

Trường đại học Hoa Sen +Không phân tích d ữ liệu

+Không đẩy dữ liệu ra ngoài dướ i dạng syslog +Không giống như Splunk full, nó không có hỗ tr ợ Python.

Universal forwarder đượ c tối ưu chỉ bao gồm các thành ph ần cần thiết để forward dữ liệu tớ i Splunk indexers. Universal forwarder có th ể nói là 1 công c ụ tốt nhất để forward dữ liệu tớ i indexer.

4.5.3 So sánh universal forwarder vớ i light forwarder: + Universal forwader s ử dụng ít CPU, chiếm ít bộ nhớ và không gian ổ đĩa. + Universal forwarder có t ốc độ truyền dữ liệu mặc định là 256Kbps + Universal forwarder không h ỗ tr ợ Python + Universal forwarder chỉ làm nhiệm vụ forward, không thể chuyển đổi thành Splunk full.

4.6 Một số khái niệm về các file Splunk.conf Props.conf: Định nghĩa các sự kiện nào theo tên host, source và sourcetype Input.conf: Điều khiển dữ liệu vào Splunk , có ch ức năng blacklist và whilelist, ngăn chặ n hoặc cho phép loại dữ li ệu nào vào splunk, tùy ch ọn bỏ qua không index các d ữ liệu cũ, input dữ liệu bằng cách lắng nghe trên port, có th ể input dữ liệu bằng scripts Transforms.conf: nơi chuyển đổi và tra c ứu các events, có thể đượ c tham chiếu theo tên trong file props.conf, tạo ra các field Fields.conf: nơi để add dữ liệu Outputs.conf: là file c ấu hình để splunk forward event ra ngoài. Indexes.conf: là file quyết định nơi lưu trữ dữ liệu trên ổ đĩa, lưu giữ bao nhiêu, và trong bao lâu. Index thực chất là tên c ủa thư mục có cấu trúc đặc biệt. Bên trong chứa thư mụ c con gọi là bucket và d ữ li ệu index.

Authorize.conf: Lưu thông tin định nghĩa vai trò và các roles.Nó ảnh hưởng đế n quá trình tìm ki ếm và giao diện web. Savedsearches.conf: Nơi lưu trữ k ết quả của các quá trình tìm ki ếm Time.conf: định nghĩa thờ i gian xuất hiện trong bảng chọn thơi gian. Commands.conf: gồm những lệnh đặc biệt cung cấ p bở i app.

Web.conf: thay đổi port cho web server, ch ứng chỉ SSL.

36

Trường đại học Hoa Sen 4.7 Hướ ng dẫn cấu hình input log t ừ syslog server vào splunk server +1 máy centos hostname splunk.local , ip address 192.168.0.114 đóng vai trò là splunk server

+1 máy centos client hostname là logserver, ip address 192.168.0.115 đóng vai trò là syslog server gử i log về cho splunk server. Tắt firewall, selinux trên c ả 2 máy: +Tắt firewall : # service iptables stop +Tắt Selinux: # vi /etc/sysconfig/selinux Sửa dòng lệnh từ

Hình 27 : Cấu hình mặc định của Selinux. Thành

Hình 28 : T ắt selinux. Trên máy Splunk server: Tải gói splunk rpm 64 bit t ừ trang web www.splunk.com và cài đặt dướ i quyền admin

Gói cài đặt để trong thư mục opt Trên terminal, cd vào thư mục opt, gõ rpm – ivh splunk-6.0.3-204106-linux-2.6- x86_64.rpm để ti ến hành cài đặt Gõ đườ ng dẫn để chạy splunk: # /opt/splunk/bin/splunk start Bảng license agreement hi ện ra, chọn y để khởi động.

Splunk đã được cài đặ t thành công Để splunk kh ởi động mỗi khi restart máy gõ l ệnh: # /opt/splunk/bin/splunk enable boot-start 37

Trường đại học Hoa Sen Vào giao diện web của splunk, chọn mở trình duyệt(firefox) r ồi gõ đườ ng dẫn 192.168.0.114:8000 để vào giao diện splunk web. M ật khẩu truy cập như mặc định sẽ là admin/changeme, chúng ta ph ải thay đổi mật khẩu mặc định. Sau khi truy cậ p vào giao di ện web splunk, để nhận log t ừ syslog server , ta vào input data, ch ọn tcp, add port listen là 514 source type là syslog và có th ể tùy chọn lắng nghe từ nhiều nguồn hoặc từ nguồn chỉ định(192.168.0.115).Sau đó save. Vào input data nhấ p chọn udp và làm tương tự như ở trên tcp Hoàn tất quá trình cài đặt và cấu hình splunk. Trên máy SyslogServer :

Cài đặt syslog server # Yum install rsyslog

Sau khi cài đặt xong, vào /etc/rsyslog.conf ch ỉnh sửa nội dung file

Hình 29 : Cấu hình mặc định trong file rsyslog.conf. Thành

Hình 30 : C ấu hình để mở port 514 cho syslog.

Đồng thời thêm vào 2 dòng dướ i section #####RULES##### *.* @192.168.0.114 Mail.* @192.168.0.114

Sau đó thoát ra save file lạ i và restart rsyslog b ằng lệnh : # service rsyslog restart

Sau đó thử switch user trên syslog server để s ản sinh log.Sau đó qua kiể m tra bên splunk server xem log đó đã đượ c send qua hay chưa. 38

Trường đại học Hoa Sen 4.8 Hướ ng ng dẫn cấu hình input log Window vào splunk server Cài đặt splunk Trên Splunk Server, tiến hành cài đặt app for windows trên giao diện web K ết nối vào giao diện web serv của splunk, chọn apps ở góc góc trái màn hình -> manage apps

Hình 31 : Giao diện web của Splunk.

Ở đây ta tiến hành cài đặt app vào splunk từ source đã chuẩn bị. Chọn Browse tìm đườ ng ng dẫn thư mục chứa file cài đặt sau đó chọn install app from file. Sau khi install app restart lại splunk server để hoàn tất, apps nhận trên server. Ta có có th thể thấy apps cài ở homepage. homepage.

39


Hình 32 : Giao diện splunk đã có thêm add-on Windows. Gán port cho splunk nhận dữ liệu từ forwarder mục Data ( Forwarding – Receiving) Receiving) Ở góc phải chọn Setting chọn tiế p ở m

Hình 33 : Cấu hình Forwarding and Receiving. 40

Trường đại học Hoa Sen Chọn ti ếp Configure Receiving > Add new để ti ến hành gắn port vào. Chọn save để hoàn tất quá trình.

Cài đặt Splunk forwarder trên 1 máy khác để gửi log vào splunk server. Chuẩn bị gói cài đặt: Gói Universal Forwarder trên trang chủ của Splunk, ở đây ta sử dụng gói cho windows splunkforwarder-6.0.2-196940-x86-release.msi.

Sau đó tiến hành cài đặt, chọn nơi cài. Ở mục Receiving Indexer : gõ IP của Splunk Server, port giống như port đã tạo ở trên. trên. Chọn Local Data only để l ấy log trên máy , bấm Next, sau đó chọn lo ại log mà ta cần: Ở đây ta lấy Windows Event Logs và Performance Logs.

Hình 34 : Tùy chọn các loại log mà universalforwarder sẽ gửi. Chọn next , để k ết ết thúc cài đặt. trang chủ splunk down gói Sau đó cài đặt Splunk Technology Add-on trên máy forwarder. Vào trang Splunk_TA_windows.

Bung gói đó ra ta sẽ được 1 thư mục cùng tên. Vào thư mục Splunk_TA_windows\default chép file input.conf vào thư mục Splunk_TA_windows\local ng dẫn cài forwarder\etc\apps Sau đó chép thư mục Splunk_TA_windows vào đườ ng 41

Trường đại học Hoa Sen Khởi động lại máy để hoàn tất quá trình. Vào máy chủ Splunk chọn Apps for Win để kiếm tra

Hình 35 : Splunk đã nhận đượ c log của Window.

4.9 Cách tạo Dashboards

Hình 36 : Menu chính c ủa Splunk.

Ở giao diện chính màn hình “ Search & Reporting” chọn Dashboards để tạo

42

Trường đại học Hoa Sen Đặt tên: No1 , và chú thích lại nếu muốn, chọn quyền cho Dashboard ( Private / Share ). Bấm Create Dashboard để khở i tạo.

Hình 37 : T ạo một Dashboard mớ i. Sau khi tạo xong Dashboard, ti ế p theo sẽ tạo panel để đưa lên Dashboard. Ta thử search ở ô lệnh lấy log. Chọn Save as > Dashboard Panel , ch ọn Dashboard đã tạo khi nãy ( No1), b ấm Save . Ta có thể tạo mớ i 1 Dashboard ở đây hoặc sử dụng Dashboard đã tạo.

Ở mục Panel Content: cho phép ch ọn kiểu biểu đồ xuất ra.

Hình 38 : Tùy chỉnh kiểu Dashboard sẽ xuất ra. 43

Trường đại học Hoa Sen Tạo tương tự vậy vớ i 2 biểu mẫu.

Hình 39 : Bi ểu đồ biểu diễn log hệ thống Window dạng pie.

Hình 40 : Bi ểu đồ biểu diễn log hệ thống Window dạng cột. Sau khi add xong panel vào, ta ch ọn Done để hoàn tất vi ệc t ạo Dashboard và chèn panel. Ở đây ta có thể tùy chỉnh biểu đồ theo ý muốn mục Edit > Edit panel , ở trên góc phải mỗi panel ta có thể tùy chỉnh loại biểu đồ. Bấm Done để hoàn tất.

Hình 41 : Thêm ghép nhi ều biểu đồ sẽ tr ở thành một dashboard. 44

Trường đại học Hoa Sen 5 Demo Lab lấy log từ hệ thống mạng nhỏ 5.1 Mô hình:

Chuẩn bị:

+ 1 máy Window Server 2008, lên Domain Controler, Cài đặt DNS và DHCP server v ớ i IP 193.1.1.30 + 1 máy Cetos cài s ẵn Splunk để thu log vớ i IP 193.1.1.50 + 1 máy Pfsense firewall v ớ i 2 card mạng LAN và WAN , card LAN có IP là 193.1.1.1 + 1 máy XP Client k ết nối vào Pfsense để cấu hình trên giao di ện Web

45

Trường đại học Hoa Sen 5.1.1 Bướ c 1: Lấy log từ Pfsense vào Splunk +Trên máy Centos đã cài sẵn Splunk:

Chọn Setting =>Data inputs

Chọn Add new UDP

46


Chọn port nhận các gói tin UDP t ừ client là 514, Đặ t sourcetype là Manual, ch ọn Save

Splunk sẽ nhận các gói tin UDP t ừ port 514 + Trên máy Pfsense: Vào Status=>System Logs

Chọn tab Setting

47


Tích vào ô Send log Messages to remote syslog server, IP remote server nh ận log là 193.1.1.50(máy Splunk), tích tùy chọn các log muốn gửi qua Splunk, Chọn Save.

Lưu ý là Pfsense chỉ gửi log bằng giao thức UDP.

48

Trường đại học Hoa Sen K ết quả:

Splunk đã nhận đượ c log từ Pfsense

Nhấn thanh search tìm địa chỉ IP 193.1.1.1 c ủa Pfsense

49


50

Trường đại học Hoa Sen 5.1.2 Bướ c 2: Lấy log từ Window Server 2k8 DC vào Splunk +Trên máy Window Server 2008:

Cài đặt Splunk Forwarder

Chọn chấ p nhận các điều khoản của splunk sau đó bấm Next

51

Trường đại học Hoa Sen Chọn nơi cài đặt cho Splunk

Nhập vào địa chỉ của máy chủ splunk và port. Lưu ý: ta chọn port trùng vớ i port sẽ cấu hình trên Splunk ( Setting > Forwarding and Receive data ) để dữ liệu có thể gửi qua Splunk.

52

Trường đại học Hoa Sen Chọn mục Remote Windows Data để gửi thông tin các log, event, và performance của DomainController

Nhậ p tên tài khoản administrator của DomainController.

53

Trường đại học Hoa Sen Chọn loại log mà ta c ần giám sát, ta có thể tùy chỉnh lại ở file sau khi cài đặt.

Ta chọn cài đặt luôn Splunk Add-on for Windows.

Finish để k ết thúc quá trình cài đặt. 54


Copy 2 thư mục TA-DNSServer-NT6 và TA-DomainController-NT6 vào thư mục câu hình của Splunk để có thể gửi các thông tin của DC. Sau đó ta restart server để splunk có thể hoạt động.

Sau khi restart lại DC, kiểm tra thấy tiến trình Splunk đã hoạt động.

55


+Cấu hình trên Splunk

Vào Forwarding and Receiving add thêm port 10000 trùng với port lúc cài đặt ở DC.

56


Sau khi gắn port ta kiểm tra dữ liệu đã đượ c gửi qua cho Splunk, ở mục Splunk App for Windows Infrastructure

57


58


59


60

278949990-Basic-about-Splunk.docx

Recommend Documents