DERS ADI

: Bilgi ve Entropi

Ders Bilgileri

Ders Kodu Ders Adı Ders Türü D U L AKTS
CSC 5004 Bilgi ve Entropi SEÇMELİ 3 0 0 7

Dersi Veren Birim

Fen Bilimleri Enstitüsü

Dersin Düzeyi

Yüksek Lisans

Ders Koordinatörü

PROF.DR. ÖZLEM EGE ORUÇ

Dersi Alan Birimler

Bilgisayar Bilimleri Yüksek Lisans
Bilgisayar Bilimleri Doktora

Dersin Amacı

Bu dersin amacı bilgi ve entropi ilkeleri ve uygulamalarını tanıtmaktır. Bu dersde bilginin olasılık açısından ölçümü, entropi, koşullu ve bileşik entropi arasındaki ilişkiler üzerinde durulacaktır. Bilgi ile rassallık, belirsizlik kavramları arasında nasıl bir ilgi vardır. Rasgele değişkenler, marjinal ve koşullu olasılık. Marjinal entropi, ortak entropi, koşullu entropi, ve entropi için kural zinciri. Neden entropi bilginin temel ölçüsüdür.

Dersin sonunda öğrenciler;
1. olasılık dağılımından gelen bir rassal değişkenin bilgisini ve,
2. olasılıklar açısından değişkenlerin koşullu, bileşik ve marjinal entropilerini hesaplayabileceklerdir.

Dersin Öğrenme Kazanımları

1   Bilgi ve entropi temelini anlamak.
2   Bilgi teorisinde yer alan entropinin iyi kavranılması.
3   Entropinin gelişmiş yapısının anlaşılması,
4   Bilgisayar programları ile entropi ve kural zinciri uygulamaları geliştirmek.
5   Öğrencilerin analitik düşünme ve argümanları eleştirme, sunma yeteneklerini geliştirmek.

Dersin Öğretim Türü

Örgün Öğretim

Dersin Önkoşulu/Önkoşulları

Yok

Ders İçin Önerilen Diğer Hususlar

Yok

Ders İçeriği

Hafta Konular Açıklama
1 1. Bilgi Kaynakları 1.1. Giriş 1.2. Olasılık ve Rasgele Değişkenler 1.3. Rasgele Süreçler ve Dinamik Sistemler 1.4. Dağılımlar
2 2. Entropi ve Bilgi 2.1. Giriş 2.2. Entropi ve Entropi Oranı 2.3. Entropinin Temel Özellikleri 2.4. Entropi Oranı
3 3. Bileşik Entropi ve Koşullu Entropi 3.1. Giriş 3.2. Bileşik Entropi 3.3. Koşullu Entropi ve Bilgi
4 4. Göreli Entropi 4.1. Giriş 4.2. Iraksama 4.3. Göreli Entropi
5 5. Ortak Bilgi 5.1. Giriş 5.2. Entropi ve Ortak Bilgi Arasındaki İlişki
6 6. Stokastik Sürecin Entropisi 6.1. Giriş 6.2. Markov Zinciri 6.3. Entropi 6.4. Örnek Entropi: Random Walk on a Weighted Graph
7 7. Veri Sıkıştırma 7.1. Giriş 7.2. Kodlama Örnekleri (Örn.Huffman Kodlama, Aritmetik Kodlama, Lempel Ziv Kodu, etc.)
8 Ara sınav
9 9. Diferansiyel Entropi 9.1. Giriş 9.2. Ayrık Entropi ve Diferansiyel Entropi İlişkisi 9.3. Bileşik ve Koşullu Diferansiyel Entropi 9.4. Diferansiyel Entropi, Göreli entropi özellikleri ve Karşılıklı Bilgi
10 10. Bilgi Teorisi ve İstatistik 10.1. Yöntemler 10.2. Büyük Sayılar Yasası 10.3. Koşullu Limit Teoremi 10.4. Hipotez Testleri
11 11. Maksimum Entropi 11.1. Maksimum Entropi Dağılımları 11.2. Örnekler
12 12. Endüktif öğrenme 12.1. Kural oluşturma 12.2. Örnekler
13 13. Uygulamalar İngilizce nin Entropisi
14 14. Proje Değerlendirme

Ders İçin Önerilen Kaynaklar

KAYNAK KİTAP : Cover, T. M., Thomas, J. A., Elements of Information Theory, Second Edition, John Wiley& Sons, 2006.

YARDIMCI KAYNAK: MacKay, David, J.C., Information Theory, Inference, and Learning Algorithms, U.K., 2004.

Öğrenme ve Öğretme Yöntemleri

Bu ders, ders anlatımları ve ödevlerden oluşur.

Değerlendirme Yöntemleri

SIRA NO KISA KOD UZUN ADI FORMUL
1 ARS ARASINAV
2 ODV ÖDEV
3 YSS YIL SONU SINAVI
4 YSBN YIL SONU BAŞARI NOTU ARS * 0.40 +ODV * 0.10 +YSS * 0.50
5 BUT BÜTÜNLEME
6 BUTBN BÜTÜNLEME SONU BAŞARI NOTU ARS * 0.40 +ODV * 0.10 +BUT * 0.50


*** Bütünleme Sınavı Yapılmayan Birimlerde Bütünleme Kriteri Dikkate Alınmaz.

Değerlendirme Yöntemlerine İliskin Aciklamalar

Yok

Değerlendirme Kriteri

Ders değerlendirmesi, sınav ve ödev değerlendirme şeklinde olacaktır.

Dersin Öğretim Dili

Türkçe

Derse İlişkin Politika ve Kurallar

İlan Edilecektir.

Dersin Öğretim Üyesi İletişim Bilgileri

Doç.Dr. Emel KURUOĞLU KANDEMİR
e-posta: emel.kuruoglu@deu.edu.tr
Tel: 0232 301 95 10

Ders Öğretim Üyesi Görüşme Gün ve Saatleri

İlan edilecektir.

Staj Durumu

YOK

İş Yükü Hesaplaması

Etkinlikler Sayısı Süresi (saat) Toplam İş Yükü (saat)
Ders Anlatımı 14 3 42
Haftalık Ders öncesi/sonrası hazırlıklar 12 1 12
Vize Sınavına Hazırlık 1 48 48
Final Sınavına Hazırlık 1 48 48
Ödev Hazırlama 4 7 28
Final Sınavı 1 2 2
Vize Sınavı 1 2 2
TOPLAM İŞ YÜKÜ (saat) 182

Program ve Öğrenme Kazanımları İlişkisi

PK/ÖKPK.1PK.2PK.3PK.4PK.5PK.6PK.7PK.8PK.9PK.10
ÖK.1433
ÖK.24
ÖK.34
ÖK.435
ÖK.54