Dokuz Eylül Üniversitesi Ders Katoloğu / Bilgi Paketi

Ders Bilgileri

Ders Kodu	Ders Adı	Ders Türü	D	U	L	AKTS
CSC 5004	Bilgi ve Entropi	SEÇMELİ	3	0	0	7

Dersi Veren Birim

Fen Bilimleri Enstitüsü

Dersin Düzeyi

Yüksek Lisans

Ders Koordinatörü

PROF.DR. ÖZLEM EGE ORUÇ

Dersi Alan Birimler

Bilgisayar Bilimleri Doktora (İngilizce)
Bilgisayar Bilimleri Yüksek Lisans

Dersin Amacı

Bu dersin amacı bilgi ve entropi ilkeleri ve uygulamalarını tanıtmaktır. Bu dersde bilginin olasılık açısından ölçümü, entropi, koşullu ve bileşik entropi arasındaki ilişkiler üzerinde durulacaktır. Bilgi ile rassallık, belirsizlik kavramları arasında nasıl bir ilgi vardır. Rasgele değişkenler, marjinal ve koşullu olasılık. Marjinal entropi, ortak entropi, koşullu entropi, ve entropi için kural zinciri. Neden entropi bilginin temel ölçüsüdür.

Dersin sonunda öğrenciler;
1. olasılık dağılımından gelen bir rassal değişkenin bilgisini ve,
2. olasılıklar açısından değişkenlerin koşullu, bileşik ve marjinal entropilerini hesaplayabileceklerdir.

Dersin Öğrenme Kazanımları

1	Bilgi ve entropi temelini anlamak.
2	Bilgi teorisinde yer alan entropinin iyi kavranılması.
3	Entropinin gelişmiş yapısının anlaşılması,
4	Bilgisayar programları ile entropi ve kural zinciri uygulamaları geliştirmek.
5	Öğrencilerin analitik düşünme ve argümanları eleştirme, sunma yeteneklerini geliştirmek.

Dersin Öğretim Türü

Örgün Öğretim

Dersin Önkoşulu/Önkoşulları

Yok

Ders İçin Önerilen Diğer Hususlar

Yok

Ders İçeriği

Hafta	Konular	Açıklama
1	1. Bilgi Kaynakları 1.1. Giriş 1.2. Olasılık ve Rasgele Değişkenler 1.3. Rasgele Süreçler ve Dinamik Sistemler 1.4. Dağılımlar
2	2. Entropi ve Bilgi 2.1. Giriş 2.2. Entropi ve Entropi Oranı 2.3. Entropinin Temel Özellikleri 2.4. Entropi Oranı
3	3. Bileşik Entropi ve Koşullu Entropi 3.1. Giriş 3.2. Bileşik Entropi 3.3. Koşullu Entropi ve Bilgi
4	4. Göreli Entropi 4.1. Giriş 4.2. Iraksama 4.3. Göreli Entropi
5	5. Ortak Bilgi 5.1. Giriş 5.2. Entropi ve Ortak Bilgi Arasındaki İlişki
6	6. Stokastik Sürecin Entropisi 6.1. Giriş 6.2. Markov Zinciri 6.3. Entropi 6.4. Örnek Entropi: Random Walk on a Weighted Graph
7	7. Veri Sıkıştırma 7.1. Giriş 7.2. Kodlama Örnekleri (Örn.Huffman Kodlama, Aritmetik Kodlama, Lempel Ziv Kodu, etc.)
8	Ara sınav
9	9. Diferansiyel Entropi 9.1. Giriş 9.2. Ayrık Entropi ve Diferansiyel Entropi İlişkisi 9.3. Bileşik ve Koşullu Diferansiyel Entropi 9.4. Diferansiyel Entropi, Göreli entropi özellikleri ve Karşılıklı Bilgi
10	10. Bilgi Teorisi ve İstatistik 10.1. Yöntemler 10.2. Büyük Sayılar Yasası 10.3. Koşullu Limit Teoremi 10.4. Hipotez Testleri
11	11. Maksimum Entropi 11.1. Maksimum Entropi Dağılımları 11.2. Örnekler
12	12. Endüktif öğrenme 12.1. Kural oluşturma 12.2. Örnekler
13	13. Uygulamalar İngilizce nin Entropisi
14	14. Proje Değerlendirme

Ders İçin Önerilen Kaynaklar

KAYNAK KİTAP : Cover, T. M., Thomas, J. A., Elements of Information Theory, Second Edition, John Wiley& Sons, 2006.

YARDIMCI KAYNAK: MacKay, David, J.C., Information Theory, Inference, and Learning Algorithms, U.K., 2004.

Öğrenme ve Öğretme Yöntemleri

Bu ders, ders anlatımları ve ödevlerden oluşur.

Değerlendirme Yöntemleri

SIRA NO	KISA KOD	UZUN ADI	FORMUL
1	ARS	ARASINAV
2	ODV	ÖDEV
3	YSS	YIL SONU SINAVI
4	YSBN	YIL SONU BAŞARI NOTU	ARS * 0.40 +ODV * 0.10 +YSS * 0.50
5	BUT	BÜTÜNLEME
6	BUTBN	BÜTÜNLEME SONU BAŞARI NOTU	ARS * 0.40 +ODV * 0.10 +BUT * 0.50

*** Bütünleme Sınavı Yapılmayan Birimlerde Bütünleme Kriteri Dikkate Alınmaz.

Değerlendirme Yöntemlerine İliskin Aciklamalar

Yok

Değerlendirme Kriteri

Ders değerlendirmesi, sınav ve ödev değerlendirme şeklinde olacaktır.

Dersin Öğretim Dili

Türkçe

Derse İlişkin Politika ve Kurallar

İlan Edilecektir.

Dersin Öğretim Üyesi İletişim Bilgileri

Doç.Dr. Emel KURUOĞLU KANDEMİR
e-posta: emel.kuruoglu@deu.edu.tr
Tel: 0232 301 95 10

Ders Öğretim Üyesi Görüşme Gün ve Saatleri

İlan edilecektir.

Staj Durumu

YOK

İş Yükü Hesaplaması

Etkinlikler	Sayısı	Süresi (saat)	Toplam İş Yükü (saat)
Ders Anlatımı	14	3	42
Haftalık Ders öncesi/sonrası hazırlıklar	12	1	12
Vize Sınavına Hazırlık	1	48	48
Final Sınavına Hazırlık	1	48	48
Ödev Hazırlama	4	7	28
Final Sınavı	1	2	2
Vize Sınavı	1	2	2
TOPLAM İŞ YÜKÜ (saat)			182

Program ve Öğrenme Kazanımları İlişkisi

PK/ÖK	PK.1	PK.2	PK.3
ÖK.1	3	4	4
ÖK.2	3	4	4
ÖK.3	3	4	4
ÖK.4	3	4	4
ÖK.5	3	4	4

DERS ADI

DERECE PROGRAMLARI