نظرية المعلومات

مقدمة في نظرية المعلومات

نظرية المعلومات (Information Theory) هي فرع من فروع الرياضيات التطبيقية والهندسة الكهربائية وعلوم الحاسوب، يدرس قياس المعلومات وتخزينها ونقلها ومعالجتها. أسس هذه النظرية كلود شانون في عام 1948 في بحثه الرائد «نظرية رياضية للاتصال»، والذي يعد أحد أهم الأعمال في القرن العشرين. أحدثت نظرية المعلومات ثورة في مجال الاتصالات وتقنية المعلومات.

المفاهيم الأساسية: كمية المعلومات والانتروبيا

كمية المعلومات (Information Content): تقاس كمية المعلومات المرتبطة بحدث ما بالعلاقة I(x) = -log₂(p(x)) حيث p(x) هي احتمال وقوع الحدث. كلما قل احتمال الحدث، زادت كمية المعلومات التي يحملها.

الانتروبيا (Entropy – H): مقياس لمتوسط كمية المعلومات في متغير عشوائي. تحسب بالعلاقة H(X) = -Σp(x)log₂p(x). تمثل الانتروبيا مقياساً لعدم اليقين أو العشوائية في مصدر المعلومات. على سبيل المثال، انتروبيا عملة نزيهة (احتمال 50% لصورة و50% لكتابة) هي 1 بت.

مثال: حساب الانتروبيا

مصدر يرسل حرفين A (احتمال 0.75) و B (احتمال 0.25):
H = -(0.75×log₂0.75 + 0.25×log₂0.25) = -(0.75×(-0.415) + 0.25×(-2)) = 0.311 + 0.5 = 0.811 بت

أنظمة الاتصال الرقمي

يتكون نظام الاتصال الرقمي من: مصدر المعلومات، المرسل (Encoded) الذي يضغط ويشفر المعلومات، القناة (Channel) التي تنقل الإشارة، المستقبل (Decoder) الذي يفك التشفير، والمستقبل النهائي. التحدي الأساسي هو نقل المعلومات بأقل قدر من الأخطاء رغم وجود الضوضاء (Noise) في القناة.

ترميز المصدر وترميز القناة

ترميز المصدر (Source Coding): ضغط المعلومات لإزالة التكرار. مثال: ترميز هوفمان (Huffman Coding) يعطي رموزاً أقصر للرموز الأكثر شيوعاً.

ترميز القناة (Channel Coding): إضافة بتات زائدة لاكتشاف وتصحيح الأخطاء. مثال: بت التكافؤ (Parity Bit) يكشف الأخطاء الفردية، ورموز هامينغ (Hamming Codes) تصحح الأخطاء المفردة.

للاستزادة، راجعوا درس هياكل البيانات: المصفوفات والقوائم المرتبطة ودرس التحليل العددي: طرق حل المعادلات التفاضلية.

📍 دروس مشابهة:

• Francais — Grammaire: Les adverbes (formation, position, types) — 1ere Annee Secondaire (Lettres) — Baccalaureat — Programme Algerien
• علوم — النباتات: أنواعها (أشجار – شجيرات – أعشاب) — السنة الأولى ابتدائي
• الرياضيات — بحوث العمليات: البرمجة الخطية والنمذجة — مستوى جامعي