Teori coding adalah salah satu aplikasi langsung dan penting dari teori informasi. Teori ini dapat dibagi menjadi teori coding sumber dan teori coding saluran. Dengan menggunakan deskripsi statistik untuk data, teori informasi mengukur jumlah bit yang diperlukan untuk menggambarkan data, yang merupakan entropi informasi dari sumber.
Kompresi data (coding sumber): Ada dua formulasi untuk masalah kompresi:
Kompresi data tanpa kehilangan informasi: data harus direkonstruksi secara tepat;
Kompresi data dengan kehilangan informasi: mengalokasikan bit yang diperlukan untuk merekonstruksi data, dalam tingkat kesetiaan yang ditentukan oleh fungsi distorsi. Subset dari teori informasi ini disebut dengan teori laju-distori.
Kode-kode koreksi kesalahan (coding saluran): Sementara kompresi data menghilangkan sebanyak mungkin redundansi, kode koreksi kesalahan menambahkan jenis redundansi yang tepat (yaitu, koreksi kesalahan) yang diperlukan untuk mentransmisikan data secara efisien dan dapat dipercaya melalui saluran berisik.
Pembagian teori coding menjadi kompresi dan transmisi didasarkan pada teorema transmisi informasi, atau teorema pemisahan sumber-saluran yang mengesahkan penggunaan bit sebagai mata uang universal untuk informasi dalam banyak konteks. Namun, teorema-teorema ini hanya berlaku dalam situasi di mana satu pengguna pengirim ingin berkomunikasi dengan satu pengguna penerima. Dalam skenario dengan lebih dari satu pengirim (saluran akses ganda), lebih dari satu penerima (saluran siaran) atau "penolong" perantara (saluran relay), atau jaringan yang lebih umum, kompresi diikuti oleh transmisi mungkin tidak lagi optimal.
Teori Sumber
Setiap proses yang menghasilkan pesan-pesan berturut-turut dapat dianggap sebagai sumber informasi. Sumber tanpa memori adalah salah satu di mana setiap pesan adalah variabel acak independen identik didistribusikan, sedangkan properti ergodisitas dan statioanritas memberikan batasan yang kurang membatasi. Semua sumber tersebut bersifat stokastik. Istilah-istilah ini telah dipelajari dengan baik dalam teori informasi.
Tingkat
Tingkat informasi adalah entropi rata-rata per simbol. Untuk sumber tanpa memori, ini hanyalah entropi dari setiap simbol, sedangkan, dalam kasus suatu proses stokastik yang stasioner, itu adalah:
r = lim n → ∞ H ( X n | X n − 1 , X n − 2 , X n − 3 , … ) ;
yakni, entropi bersyarat dari suatu simbol yang diberikan semua simbol sebelumnya yang dihasilkan. Untuk kasus yang lebih umum dari suatu proses yang tidak selalu stasioner, rata-rata tingkatnya adalah:
r = lim n → ∞ 1 n H ( X 1 , X 2 , … X n ) ;
yakni, batas entropi bersama per simbol. Untuk sumber stasioner, kedua ekspresi ini memberikan hasil yang sama.
Tingkat informasi didefinisikan sebagai:
r = lim n → ∞ 1 n I ( X 1 , X 2 , … X n ; Y 1 , Y 2 , … Y n ) ;
Biasa dalam teori informasi untuk berbicara tentang "tingkat" atau "entropi" dari suatu bahasa. Ini tepat, misalnya, ketika sumber informasi adalah prosa Inggris. Tingkat dari sumber informasi terkait dengan redundansinya dan seberapa baik itu dapat dikompres, yang merupakan subjek dari pengkodean sumber.
Kapasitas saluran adalah kemampuan saluran untuk mentransmisikan informasi secara efisien. Komunikasi melalui saluran adalah motivasi utama dari teori informasi. Namun, saluran sering gagal untuk menghasilkan rekonstruksi yang tepat dari sinyal; kebisingan, periode keheningan, dan bentuk-bentuk lain dari kerusakan sinyal sering merusak kualitasnya.
Pertimbangkan proses komunikasi melalui saluran diskrit. Model sederhana dari proses ini ditunjukkan di bawah ini:
→ Pesan W Pemroses f n → Sekuen Yang Tercoded X n Saluran p ( y | x ) → Sekuen Yang Diterima Y n Pemulih g n → Pesan Yang Diperkirakan W ^
Di sini X mewakili ruang pesan yang ditransmisikan, dan Y ruang pesan yang diterima selama satu unit waktu di saluran kita. Biarkan p(y|x) menjadi fungsi distribusi probabilitas bersyarat dari Y diberikan X. Kita akan mempertimbangkan p(y|x) sebagai properti tetap yang melekat pada saluran komunikasi kita (mewakili sifat kebisingan saluran kita). Kemudian distribusi bersama X dan Y benar-benar ditentukan oleh saluran kita dan oleh pilihan f(x) kita, distribusi margina pesan yang kita pilih untuk dikirimkan melalui saluran. Dalam batasan ini, kita ingin memaksimalkan tingkat informasi, atau sinyal, yang dapat kita komunikasikan melalui saluran. Ukuran yang tepat untuk ini adalah informasi bersama, dan informasi bersama maksimum ini disebut sebagai kapasitas saluran dan diberikan oleh:
C = max f I ( X ; Y ) .
Kapasitas ini memiliki sifat berikut yang terkait dengan berkomunikasi pada tingkat informasi R (di mana R biasanya bit per simbol). Untuk setiap tingkat informasi R < C dan kesalahan pengkodean ε > 0, untuk N yang cukup besar, ada kode dengan panjang N dan tingkat ≥ R dan algoritma dekode, sehingga probabilitas maksimal kesalahan blok ≤ ε; artinya, selalu mungkin untuk mentransmisikan dengan kesalahan blok yang sangat kecil. Selain itu, untuk setiap tingkat R > C, tidak mungkin mentransmisikan dengan kesalahan blok yang sangat kecil.
Koding saluran berkaitan dengan menemukan kode yang hampir optimal yang dapat digunakan untuk mentransmisikan data melalui saluran bising dengan kesalahan pengodean kecil pada tingkat mendekati kapasitas saluran.
Kapasitas dari model-model saluran tertentu
Sebuah saluran komunikasi analog kontinu dengan gangguan Gaussian—lihat teorema Shannon–Hartley.
Sebuah saluran simetris biner (BSC) dengan probabilitas silang p adalah saluran masukan biner, keluaran biner yang mengubah bit masukan dengan probabilitas p. BSC memiliki kapasitas 1 − Hb(p) bit per penggunaan saluran, di mana Hb adalah fungsi entropi biner dengan logaritma basis 2:
Saluran erasure biner (BEC) dengan probabilitas penghapusan p adalah saluran masukan biner, keluaran ternary. Keluaran saluran yang mungkin adalah 0, 1, dan simbol ketiga 'e' yang disebut sebagai erasure. Erasure mewakili kehilangan informasi lengkap tentang bit masukan. Kapasitas BEC adalah 1 − p bit per penggunaan saluran.
Saluran dengan memori dan informasi terarah
Dalam praktiknya, banyak saluran memiliki memori. Yaitu, pada waktu i saluran diberikan oleh probabilitas bersyarat P ( y i | x i , x i − 1 , x i − 2 , . . . , x 1 , y i − 1 , y i − 2 , . . . , y 1 ) . Seringkali lebih nyaman untuk menggunakan notasi x i = ( x i , x i − 1 , x i − 2 , . . . , x 1 ) dan saluran tersebut menjadi P ( y i | x i , y i − 1 ) . Dalam kasus seperti itu, kapasitas diberikan oleh laju informasi bersama ketika tidak ada umpan balik yang tersedia dan laju Informasi Terarah dalam kasus ada umpan balik atau tidak[48][57] (jika tidak ada umpan balik, informasi terarah sama dengan informasi bersama).
Informasi yang dapat dipertukarkan adalah informasi yang tidak penting bagi cara encoding-nya. Ahli teori informasi klasik dan ilmu komputer lebih memperhatikan informasi jenis ini, yang sering disebut sebagai informasi yang dapat diucapkan.
Generator bilangan acak pseudorandom sangat umum digunakan dalam perpustakaan bahasa komputer dan program aplikasi. Namun, generator semacam itu tidak cocok untuk penggunaan kriptografi karena sifat deterministik dari peralatan dan perangkat lunak komputer modern. Ada juga generator bilangan acak kriptografis yang lebih aman, tetapi mereka masih memerlukan benih acak eksternal. Ukuran ketidakpastian yang penting dalam hal ini adalah min-entropy, yang terkait dengan entropi Shannon dan Rényi.
Penerapan teori informasi dalam eksplorasi seismik telah memberikan kemajuan signifikan dalam menghilangkan noise dari sinyal seismik yang diinginkan. Begitu juga dalam bidang semiotika, di mana teori informasi digunakan untuk memahami proses internal pemetaan, penyaringan, dan pemrosesan informasi dalam konteks ideologi.
Dalam ilmu kognitif, teori informasi digunakan untuk menganalisis organisasi proses terintegrasi informasi neural, terutama dalam konteks masalah pengikatan dalam neurosains kognitif. Aplikasi lain dari teori informasi termasuk dalam pencarian kecerdasan ekstraterestrial, bioinformatika, dan perjudian.
Posting Komentar