Teori Dasar Informasi

CHAPTER II
INFORMATION THEORY
PART I : Digital Communication System
Presented By:
Syahroni Wahyu Iriananda

The bandwidth of the channel, signal energy, and noise energy are related by the formula C = W log2(1 + S/N) bps where C is the channel capacity, W is the bandwidth, and S/N is the signal-to-noise ratio.

To increase C, can we increase W? No, because increasing W increases noise as well, and SNR will be reduced. To increase C, can we increase SNR? No, that results in more noise, called intermodulation noise.
The entropy of information source and channel capacity are two important concepts, based on which Shannon proposed his theorems.

So, we cannot transmit data at a rate faster than this value in a voice-grade line.
An important point to be noted is that in the above formula, Shannon assumes only thermal noise.

dB = 10 Log (Signal Power/Noise Power)
The value of the channel capacity obtained using this formula is the theoretical maximum.
As an example, consider a voice-grade line for which W = 3100Hz, SNR = 30dB (i.e., the signal-to-noise ratio is 1000:1)

Kapasitas maksimum sebuah kanal komunikasi

C = W LOG2 (1 + S/N)

Dengan
C : Kapasitas maksimum dalam bps
W : Bandwidth
S/N : Perbandingan daya sinyal dan noise

Bila S/N =1000 dan W=3300Hz maka C=32.9 Kbps

Channel Capacity
Formula Shannon [1948] untuk menghitung Kapasitas Kanal:
Kapasitas Informasi [bps] = (Lebar Pita Frekuensi [Hertz])* 2log ( 1 + S/N)
BITRATE Kapasitas Kanal dapat digambarkan sebagai rata-rata maksimum pada informasi yang bisa dikirim tanpa ada kesalahan, dan untuk maksud transmisi data, mungkin diukur dalam bit perdetik.

Rata-rata data yang dapat dikirim pada kanal sebanding dengan bandwidth kanal itu.
Channel Capacity
Channel Capacity (Bit Rate)

Bit Rate (Kapasitas Kanal) : banyaknya informasi yang dapat dikirimkan melalui suatu saluran komunikasi dalam satu satuan waktu [bit per second, bps]
BW (Bandwidth, Lebar Pita Frekuensi) : spektrum isyarat yang dapat melewati suatu saluran komunikasi: frekuensi tertinggi – frekuensi terendah [Hertz, getaran per detik, cycles per second, cps]
S/N (Signal to Noise ratio) : menunjukkan kualitas saluran komunikasi = perbandingan antara daya isyarat yang dipancarkan dengan daya derau atau "kebisingan" (noise) yang menggangu penyaluran atau transmisi isyarat

Teorema Shannon

Teorema "Source Coding"

Diketahui sebuah channel yang memiliki kapasitas C dan sebuah sumber entropy discrete per second H.

Jika H<=C maka akan ada suatu sistem koding dimana output dari sumbernya dapat ditransmisikan melalui channel dengan tingkat kegagalan yang sangat rendah. Jika H-C > C maka akan ada kemungkinan untuk meng-encode pesan sehingga pesan yang ambigu bernilai kurang dari H-C + e dimana e sangat kecil.

Tidak ada metode yang mengenkode pesan dimana tingkat ke-ambiguitasnya kurang dari H-C.

Entropi Sumber Informasi

Bagaimana Mengukur Informasi?
Apakah informasi?
Bagaimana kita mengukur informasi? Ini adalah masalah mendasar yang dapat dijawab oleh Shannon.

Kita dapat mengatakan bahwa kami menerima beberapa informasi jika ada "penurunan ketidakpastian." Dengan kata lain factor ketidakpastian (Uncertainty) berkurang.
References
[1] Dr. K.V. Prasad,"Principles of Digital Communication Systems and Computer Networks", Charles River Media, 2003
[2] S. Verdu, "Fifty years of shannon theory", IEEE Transaction on information theory, vol. 44, no.6, October 1998.
[3] C.E. Shannon, "A mathematical theory of communication", Bell Syst. Tech., J., vol. 27, pp. 379-423, 623-656, July-Ock. 1948.
[4] H. Nyquist, "Certain factors affecting telegraph speed", Bell Syst. Tech. J., vol. 3, pp. 324-352, Apr. 1924.

Ide utama dibalik teorema ini adalah bahwa jumlah informasi yang mungkin untuk ditransmisikan berdasar pada besarnya entropy atau derajat keacakkan.
Berdasarkan sifat-sifat statistik dari sumber informasi, ini memungkinkan untuk dilakukannya pengkodean informasi
Sehingga memungkinkannya untuk melakukan pentransmisian informasi pada laju maksimum yang diperbolehkan channel.
Teorema "Channel Coding"
Berhubungan dengan sistem komunikasi pada channel tanpa noise
Terdapat sebuah sumber informasi yang memiliki entropy H (bits per symbol) dan sebuah channel dengan kapasitas C (bits per transmit) dengan laju rata-rata C/H – e symbol per second dimana e sangat kecil. Tidak mungkin untuk dapat melakukan transmisi dengan laju rata-rata lebih dari C/H.

Misal:
00 A
01 B
10 C
11 D
Sehingga n Bit = 2n Hal
Bagaimana Mengukur Informasi?
Satuan Terkecil Informasi dinyatakan dengan Binary Digit (BIT)

1 Bit Hanya dapat membedakan 2 Hal

Entropi orde kedua dari sumber memproduksi karakter alfabet dapat bekerja untuk menjadi
H = 3.36 bit / simbol

Dengan memandang informasi sebagai entropy, Shannon mencetuskan ide bahwa sebuah sumber informasi bersifat probabilistik dengan mengajukan pertanyaan:
jika sebuah sumber informasi memproduksi pesan-pesan dengan cara memilih simbol-simbol dari himpunan simbol terhingga, dan probabilitas simbol-simbol yang muncul bergantung pada pilihan sebelumnya, maka seberapa banyakkah informasi yang terkait dengan sumber tersebut?

Kekurangan-kekurangan dari saluran (channel) yang mengalami gangguan (noisy channel) juga dapat diatasi oleh bantuan redundancy.

Redundancy
Konsep kedua adalah redundancy, yang merupakan kebalikan dari entropy. dudansi adalah sesuatu yang bisa diramalkan atau diprediksikan (predictable).
Karena prediktabilitasnya tinggi (high predictable), maka informasi pun rendah (low information).
Redundansi apabila dikaitkan dengan masalah teknis, ia dapat membantu untuk mengatasi masalah komunikasi praktis.
Entropy
Entropi merupakan konsep keacakan, dimana terdapat suatu keadaan yang tidak dapat dipastikan kemungkinannya
Entropy & Redundancy
Entropi dan Redunansi merupakan konsep dasar yang dikemukakan dalam teori Informasi Shannon ini.
Kedua konsep ini saling terikat dan saling berpengaruh seperti hukum sebab-akibat (kausalitas)
Entropi akan sangat berpengaruh terhadap Redundansi yang akan timbul dalam proses komunikasi

Jika menghasilkan A, ketidakpastian yang ada dalam masa tunggu (waiting period) hilang, dan kami mengatakan bahwa "informasi" yang dihasilkan.
Perhatikan bahwa kita menggunakan istilah "informasi" dari sudut pandang teori komunikasi; itu tidak ada yang harus dilakukan dengan "kegunaan" informasi.

Shannon menjelaskan hal tersebut dengan sebuah persamaan yang memaparkan hubungan antara entropy dan redundancy. Jika sebuah sumber informasi tidak mempunyai banyak pilihan atau memiliki derajat keacakan yang rendah, maka informasi atau entropy tersebut rendah.
Redundancy =
1 - (actual_entropy/max_entropy)

Entropy of The Source
Shannon mengusulkan formula untuk mengukur informasi.
Ukuran informasi disebut Entropy of the Source/Entropi Sumber Informasi.
Jika sumber menghasilkan simbol ke-N, dan jika semua simbol sama-sama mungkin terjadi, entropi sumber diberikan oleh:

H = log2N bits/simbol

Sebagai contoh, asumsikan bahwa Source menghasilkan huruf(A sampai Z, sebanyak 27, sebagai simbol), dan semua simbol-simbol ini akan diproduksi dengan probabilitas yang sama. Dalam kasus seperti itu, entropi adalah
H = log227
H = 4,75 bits/simbol

Jika kita mempertimbangkan probabilitas dua simbol bersama-sama (aa, ab, ac, iklan, .. ba, bb, dan sebagainya), maka hal itu disebut pendekatan orde kedua.
Jadi, di pendekatan orde kedua, kita harus mempertimbangkan probabilitas diagram bersyarat (atau dua simbol bersama-sama).

Ini disebut pendekatan first-order approximation untuk perhitungan entropi sumber informasi.
Dalam karakter alfabet, ada ketergantungan dari satu huruf pada surat sebelumnya. Misalnya, huruf 'U' selalu terjadi setelah huruf 'Q'.

Catatan Perhatikan kalimat berikut:

"I do not knw wheter this is undrstandble"

Terlepas dari fakta bahwa sejumlah karakter dalam kalimat ini hilang, Anda tetap dapat mengerti teks tersebut. Dengan kata lain, ada banyak redundansi dalam teks ini.

Jika teks besar dianalisis dan probabilitas dari semua simbol (atau huruf) yang diperoleh dan diganti dalam formula, maka entropi adalah

H = 4.07 bits/symbol

Secara umum, jika sumber menghasilkan simbol (i) dengan probabilitas P (i), entropi sumber diberikan oleh

H = - P(i) log2P(i) s
i

Sumber informasi tidak dapat menghasilkan semua simbol dengan probabilitas yang sama.
Misalnya, dalam bahasa Inggris huruf "E" memiliki frekuensi tertinggi (dan karenanya probabilitas tertinggi terjadinya), dan huruf-huruf lainnya terjadi dengan probabilitas yang berbeda.
Information Sink
Menyerap informasi
Source Decoder
Source decoder mengubah aliran bit ke dalam informasi yang sebenarnya. Jika konversi Analog ke Digital dilakukan pada encoder sumber,
konversi digital ke analog dilakukan pada decoder sumber. Jika simbol dikodekan ke 1 dan 0 pada encoder sumber, aliran bit diubah kembali ke simbol oleh decoder sumber.

Channel Decoder
Menganalisa aliran bit yang diterima dan mendeteksi dan mengoreksi jika ada kesalahan menggunakan bit tambahan (redundant bits) hasil dari Channel Encoder
Channel Decoder melakukan proses kebalikan dari Encoder

Maksud dari sistem komunikasi adalah untuk mengirimkan informasi dari "sumber" ke "tujuan" tanpa terjadi kesalahan.
Namun media komunikasi akan selalu terjadi beberapa error karena adanya Noise/Derau.

Persyaratan paling mendasar dari sistem komunikasi adalah mengirimkan informasi tanpa adanya kesalahan meskipun pada kenyataanya terjadi NOISE di media komunikasi.

Konsep Umum Sistem Komunikasi
Sumber Informasi memproduksi simbol-simbol berupa karakter/huruf/teks, pidato, video, dsb yang dikirimkan melalui transmisi media oleh Transmitter (TX).
Media komunikasi memperkenalkan noise dan beberapa kesalahan terjadi pada saat pengiriman data.
Pada sisi penerimaan akhir, Receiver (RX) melakukan dekode data dan melanjutkannya ke tujuan informasi (wadah)
Pada slide berikutnya merupakan diagram blok dari sistem komunikasi pada umumnya.

Konsep Umum Sistem Komunikasi
Information Source : Sumber Informasi, yang memproduksi simbol (teks, video, audio, pidato, gambar, dsb).
Transmitter: Mengirim Sinyal
Channel: Kanal sebagai media transmisi dapat menghasilkan noise, jadi error dapat terjadi pada saat data di transmisikan.
Receiver: Menerima Sinyal kemudian dilanjutkan ke Tujuan yang akan menyerap informasi.

Information Source memproduksi dua simbol A dan B,
Transmitter kemudian mengkodekan simbol tersebut menjadi aliran bit (bit stream).
A = 1, B =0.
Aliran bit yang dikirimkan melalui media.
Sebagai ilustrasi, Noise dapat saja menyebabkan 1 menjadi 0 atau sebaliknya ditempat yang acak.

Simbol Asli
B
B
A
A
B
A
B
B
Aliran Bit Sumber/Dikirim
0
0
1
1
0
1
0
0
Aliran Bit Diterima
0
0
1
1
1
1
0
0
Pada penerima, satu bit diterima dalam kesalahan. Bagaimana untuk memastikan bahwa data yang diterima dibuat bebas dari kesalahan?
Shannon menjawabnya dalam Sistem komunikasi yang disarankan
Syarat Sistem Komunikasi
Dalam setiap sistem komunikasi
Sumber Informasi yang menghasilkan Informasi dalam berbagai bentuk.
Dan sebuah wadah infomasi/tujuan (Information Sink) yang menyerap informasi.
Media komunikasi menghubungkan antara "Sumber" dengan "Tujuan".

Pemahaman yang baik terhadap konsep ini merupakan keharusan bagi setiap SDM Telekomunikasi pemula.
Buku tersebut mempelajari kontribusi Shannon untuk bidang komunikasi modern (Era Informasi)

Teori Informasi Shannon
Secara umum, Teori Informasi Shannon (Teori Matematis) ini memandang bahwa komunikasi sebagai fenomena mekanistis, matematis dan informatif, yaitu
Komunikasi sebagai transmisi pesan, dan bagaimana transmiter dapat menggunakan kanal/saluran sebagai media komunikasi.

What is Information?
Sekilas tentang Informasi
Informasi
Informasi adalah hasil dari pengolahan data
Informasi adalah data/fakta yang sudah diolah menjadi suatu bentuk yang berarti bagi penggunakan dan bermanfaat bagi pengambilan keputusan saat ini atau mendatang

Basic Communication System
Dasar Sistem Komunikasi
Early Communication System
Early Communication System Before 1948
Telegraph (Morse, 1830-an)
Telephone (Bell, 1876)
Wireless Telegraph (Marconi, 1887)
AM Radio (awal 1900-an)
Single-Sideband Modulation (Carson, 1922)
Television (1925 – 1927)
Teletype (1931)
Frequency Modulation (Amstrong, 1936)
Pulse-Code Modulation (PCM) (Reeves, 1937 – 1939)
Vocoder (Dudley, 1939)
Spread Spectrum (1940-an)

Information Theory
Teori Informasi

Pada tahun 1948, Claude Shannon meletakkan asas Teori Informasi dalam sebuah paper "Teori Matematika Komunikasi" yang diterbitkan pada jurnal Bell System Technical Journal. Teori tersebut menjadi dasar dari seluruh pengembangan telekomunikasi dalam kurun waktu lima dekade terakhir.
Teori Informasi merupakan cabang penerapan matematika, teknik elektro, ilmu komputer, dsb.
Sistem Komunikasi Shannon (Digital)
Sistem Komunikasi yang diajukan oleh Shannon

TX
RX

Dalam sistem komunikasi digital, karena efek dari noise/derau, terjadi kesalahan. Akibatnya, 1 dapat menjadi 0 dan 0 mungkin menjadi 1.

Pada diagram tersebut terdapat dua macam jenis pengkodean
Source Encoder/Decoder
Channel Encoder/Decoder

Lossy Source Encoding
Dalam coding lossy, beberapa informasi hilang saat melakukan coding sumber. Selama kerugian tidak signifikan, kita bisa mentolerir hal itu.
Ketika gambar diubah menjadi format JPEG, coding adalah pengkodean lossy karena beberapa informasi hilang.
Sebagian besar teknik yang digunakan untuk suara, gambar, dan video coding teknik coding lossy.

Catatan
Utilitas kompresi yang kita gunakan untuk kompres file data menggunakan teknik lossless encoding.
Kompresi gambar JPEG adalah teknik lossy karena beberapa informasi hilang.

Channel Encoder
Jika memecahkan kode informasi dengan benar, bahkan jika kesalahan terjadi pada media
Perlu ditempatkan beberapa bit tambahan (redundant bits) dalam data sumber yang telah dikodekan
sehingga informasi tambahan (redundant bits) dapat digunakan untuk mendeteksi dan memperbaiki kesalahan.

Channel Encoder
Proses penambahan bit dilakukan oleh encoder saluran.
Teorema Channel Coding Shannon memberitahu kita bagaimana untuk mencapai hal ini.

Channel Encoder

Dalam Channel encoding, redundansi diperkenalkan sehingga pada akhir penerimaan, bit redundant dapat digunakan untuk mendeteksi kesalahan atau koreksi kesalahan.

Modulator/Demodulator
Modulator Merupakan proses transformasi sinyal, sehingga sinyal dapat ditransimisikan melalui berbagai media
Demodulator melakukan proses kebalikan dari Modulator
Lossless Source Encoding
Dalam coding lossless, tidak ada informasi yang hilang. Ketika kita kompres file komputer kita menggunakan teknik kompresi (misalnya, WinZip), tidak ada kehilangan informasi.
Teknik coding seperti ini disebut teknik coding lossless.

Pengkodean Sumber dilakukan untuk mengurangi redundansi dalam sinyal.

Teknik Pengkodean Sumber dapat dibagi menjadi teknik pengkodean lossless dan teknik pengkodean lossy.

Dalam teknik encoding lossy, beberapa informasi hilang. Contohnya pada kompresi data jpg, gif, png dsb.

Source Encoding
Dilakukan untuk mengurangi penumpukan sinyal (redundancy)
Terdapat 2 teknik encoding:
Losseless Encoding (Tidak Berkurang/Hilang)
ZIP, GZ, RAR dsb
Lossy Encoding (Berkurang)
JPEG, GIF, MKV, dsb

Simbol-simbol kemudian dimodulasikan dan dikirim melalui medium.
Pada sisi penerima, sinyal termodulasi di demodulasi, dan dilakukan operasi kebalikan dari Channel Encoding dan Source encoding (channel decoding dan sumber decoding).
Maka informasi yang disajikan untuk Tujuan (Information Sink). Setiap blok dijelaskan di bawah ini.

Seperti yang diusulkan oleh Shannon, sistem komunikasi terdiri dari Enkoder Sumber, Enkoder Saluran encoder dan modulator pada akhir transmisi, dan demodulator, Dekoder Saluran dan Dekoder sumber pada akhir penerima.

Information Source
Sumber informasi:
Sumber informasi menghasilkan simbol. Jika sumber informasi, misalnya, mikrofon, sinyal dalam bentuk analog. Jika sumber adalah komputer, sinyal dalam bentuk digital (1 set simbol).

Source Encoder
Source Encoder/Decoder
Mengkonversi sinyal yang diproduksi oleh sumber menjadi aliran data.
Jika sinyal input berupa analog, maka dapat dikonversi oleh ADC
Jika sinya input berupa aliran simbol (digital), maka dapat dikonversikan menjadi alirat bit 1 dan 0 melalui mekanisme tertentu

Source Encoder
Enkoder Sumber mengubah sinyal yang dihasilkan oleh sumber informasi ke dalam aliran data.
Jika sinyal input analog, dapat dikonversi ke dalam bentuk digital menggunakan converter ADC.
Jika input ke encoder sumber merupakan aliran simbol, dapat dikonversi ke dalam aliran bit (bit stream) 1 dan 0 menggunakan beberapa jenis mekanisme pengkodean.

Misalnya, jika sumber menghasilkan simbol A dan B, A dapat dikodekan sebagai 1 dan B sebagai 0.
Sumber Teorema pengkodean Shannon memberitahu kita bagaimana melakukan coding ini secara efisien.

Misalkan sumber informasi yang menghasilkan dua simbol A dan B. sumber telah mengirim A, B, B, A, dan sekarang kami menunggu simbol berikutnya. Yang simbol itu akan dihasilkannya?

Click to edit Master title style
Click to edit Master text styles
Second level
Third level
Fourth level
Fifth level
04/02/2016

#
04/02/2016

#
Second level
Third level
Fourth level
Fifth level
04/02/2016

#

Click icon to add picture
04/02/2016

#
Second level
Third level
Fourth level
Fifth level
04/02/2016

#
04/02/2016

#
Second level
Third level
Fourth level
Fifth level
Second level
Third level
Fourth level
Fifth level
04/02/2016

#
Second level
Third level
Fourth level
Fifth level
Second level
Third level
Fourth level
Fifth level
04/02/2016

#

04/02/2016

#
Second level
Third level
Fourth level
Fifth level
04/02/2016

#

Click to edit Master subtitle style
04/02/2016

#

Second level
Third level
Fourth level
Fifth level
04/02/2016

#

Teori Dasar Informasi

Recommend Documents