چگونه آنتروپی شانون محدودیت های اساسی را بر ارتباطات تحمیل می کند


کاوش کنید

مناگر کسی حقیقتی را به شما بگوید که از قبل می‌دانید، اساساً چیزی به شما نگفته است. در حالی که اگر رازی را فاش کنند، عادلانه است که بگوییم چیزی واقعاً ابلاغ شده است.

این تمایز در قلب نظریه اطلاعات کلود شانون قرار دارد. این مقاله که در سال 1948 در مقاله ای با عنوان “نظریه ریاضی ارتباطات” معرفی شد، یک چارچوب ریاضی دقیق برای تعیین کمیت مقدار اطلاعات مورد نیاز برای ارسال و دریافت دقیق یک پیام، همانطور که با درجه عدم اطمینان در مورد پیام مورد نظر تعیین می شود، ارائه می دهد. گفتن

یعنی وقت مثال است.

در یک سناریو، من یک سکه حقه دارم – سرهای آن دو طرف است. من دوبار آن را ورق می زنم. چقدر اطلاعات لازم است تا نتیجه را اعلام کند؟ اصلاً هیچ، زیرا قبل از دریافت پیام، اطمینان کامل دارید که هر دو تلنگر بالا می‌آیند.

در سناریوی دوم، دو تلنگر را با یک سکه معمولی انجام می‌دهم – سرها در یک طرف، دم‌ها در طرف دیگر. ما می‌توانیم نتیجه را با استفاده از کد باینری اعلام کنیم: 0 برای heads، 1 برای tails. چهار پیام ممکن وجود دارد – 00، 11، 01، 10 – و هر کدام به دو بیت اطلاعات نیاز دارند.

بنابراین، چه چیزی است؟ در سناریوی اول شما از محتوای پیام اطمینان کامل داشتید و انتقال آن صفر بیت طول کشید. در مرحله دوم، شانس 1 در 4 برای حدس زدن پاسخ درست داشتید – 25 درصد اطمینان – و پیام برای رفع این ابهام به دو بیت اطلاعات نیاز داشت. به طور کلی، هرچه کمتر در مورد آنچه پیام می گوید بدانید، اطلاعات بیشتری برای انتقال نیاز است.

شانون اولین کسی بود که این رابطه را از نظر ریاضی دقیق کرد. او آن را در فرمولی ثبت کرد که حداقل تعداد بیت‌ها را محاسبه می‌کند – آستانه‌ای که بعداً آنتروپی شانون نامیده شد – که برای برقراری یک پیام لازم است. او همچنین نشان داد که اگر یک فرستنده از بیت های کمتر از حداقل استفاده کند، پیام ناگزیر تحریف می شود.

تارا جاویدی، نظریه‌پرداز اطلاعات در دانشگاه کالیفرنیا، سن دیگو، می‌گوید: «او این شهود عالی را داشت که اطلاعات زمانی به حداکثر می‌رسد که از یادگیری چیزی متعجب می‌شوید».

اصطلاح “آنتروپی” از فیزیک وام گرفته شده است، جایی که آنتروپی معیاری برای بی نظمی است. یک ابر دارای آنتروپی بالاتری نسبت به یک مکعب یخ است، زیرا یک ابر به روش‌های بسیار بیشتری برای چیدمان مولکول‌های آب نسبت به ساختار کریستالی یک مکعب اجازه می‌دهد. به روشی مشابه، یک پیام تصادفی دارای آنتروپی شانون بالایی است – احتمالات زیادی برای نحوه چیدمان اطلاعات آن وجود دارد – در حالی که پیامی که از یک الگوی دقیق پیروی می کند آنتروپی پایینی دارد. در روش محاسبه آنتروپی هم در فیزیک و هم در نظریه اطلاعات شباهت‌های رسمی وجود دارد. در فیزیک، فرمول آنتروپی شامل گرفتن لگاریتمی از حالات فیزیکی ممکن است. در تئوری اطلاعات، لگاریتم نتایج رویداد ممکن است.

حتما بخوانید:
10 Rules About Forex Training Meant To Be Broken

فرمول لگاریتمی برای آنتروپی شانون سادگی آنچه را که به تصویر می‌کشد را رد می‌کند – زیرا راه دیگری برای اندیشیدن در مورد آنتروپی شانون تعداد سؤالات بله یا خیر است که به طور متوسط ​​برای تعیین محتوای یک پیام لازم است.

به عنوان مثال، دو ایستگاه هواشناسی را تصور کنید، یکی در سن دیگو و دیگری در سنت. لویی. هر کدام می خواهد پیش بینی هفت روزه شهر خود را برای دیگری ارسال کند. سن دیگو تقریبا همیشه آفتابی است، به این معنی که شما در مورد آنچه پیش بینی می گوید اعتماد به نفس بالایی دارید. آب و هوا در St. لویی نامطمئن تر است – شانس یک روز آفتابی نزدیک به 50-50 است.

پدر نظریه اطلاعات: کلود شانون در آزمایشگاه بل در سال 1954. عکس توسط Estate of Francis Bello/Science Source.

برای انتقال هر پیش بینی هفت روزه چند سوال بله یا خیر لازم است؟ برای سن دیگو، اولین سوال سودآور ممکن است این باشد: آیا تمام هفت روز پیش بینی آفتابی است؟ اگر پاسخ مثبت است (و احتمال مناسبی وجود دارد)، شما کل پیش بینی را در یک سوال مشخص کرده اید. اما با St. لویی تقریباً باید یک روز در مسیر پیش بینی کار کنید: آیا روز اول آفتابی است؟ در مورد دوم چطور؟

هرچه در مورد محتوای یک پیام اطمینان بیشتری وجود داشته باشد، به طور متوسط ​​برای تعیین آن به سوالات بله یا خیر کمتری نیاز خواهید داشت.

برای مثال دیگر، دو نسخه از یک بازی الفبا را در نظر بگیرید. در اول، من یک حرف را به طور تصادفی از الفبای انگلیسی انتخاب کرده ام و می خواهم آن را حدس بزنید. اگر از بهترین استراتژی حدس زدن ممکن استفاده کنید، به طور متوسط ​​4.7 سوال برای به دست آوردن آن نیاز دارد. (یک اولین سوال مفید این خواهد بود، “آیا حرف در نیمه اول الفبا است؟”)

در نسخه دوم بازی، به جای حدس زدن ارزش حروف تصادفی، سعی می کنید حروف را در کلمات واقعی انگلیسی حدس بزنید. اکنون می توانید حدس زدن خود را طوری تنظیم کنید که از این واقعیت استفاده کنید که برخی از حروف بیشتر از بقیه ظاهر می شوند (“آیا مصوت است؟”) و دانستن ارزش یک حرف به شما کمک می کند ارزش حرف بعدی را حدس بزنید (q تقریباً همیشه است. به دنبال u). شانون محاسبه کرد که آنتروپی زبان انگلیسی 2.62 بیت در هر حرف (یا 2.62 سوال بله یا خیر) است که بسیار کمتر از 4.7 است که اگر هر حرف به طور تصادفی ظاهر شود، به آن نیاز دارید. به عبارت دیگر، الگوها عدم قطعیت را کاهش می‌دهند، که امکان برقراری ارتباط زیاد با استفاده از اطلاعات نسبتاً کم را ممکن می‌سازد.

حتما بخوانید:
فروش تخصصی استخر بادی اینتکس اورجینال

توجه داشته باشید که در نمونه هایی از این دست می توانید سوالات بهتر یا بدتر بپرسید. آنتروپی شانون یک طبقه غیرقابل خدشه ایجاد می کند: این حداقل تعداد مطلق بیت ها یا سوالات بله یا خیر است که برای انتقال یک پیام لازم است.

جاویدی گفت: «شانون نشان داد چیزی شبیه سرعت نور وجود دارد، یک حد اساسی. او نشان داد که آنتروپی شانون یک محدودیت اساسی برای اینکه چقدر می توانیم منبع را فشرده کنیم، بدون خطر اعوجاج یا از دست دادن است.

امروزه آنتروپی شانون به عنوان معیاری در بسیاری از تنظیمات کاربردی از جمله فناوری فشرده سازی اطلاعات عمل می کند. برای مثال، اینکه می‌توانید یک فایل فیلم بزرگ را زیپ کنید، به این دلیل است که رنگ‌های پیکسلی الگوی آماری دارند، مانند کلمات انگلیسی. مهندسان می‌توانند مدل‌های احتمالی را برای الگوهای رنگ‌های پیکسلی از یک فریم به فریم دیگر بسازند. این مدل‌ها محاسبه آنتروپی شانون را با تخصیص وزن به الگوها و سپس گرفتن لگاریتم وزن برای همه راه‌های ممکن برای پیکسل‌ها ممکن می‌سازند. این مقدار محدودیت فشرده‌سازی «بدون ضرر» را به شما می‌گوید – حداکثر چیزی که فیلم می‌تواند قبل از از دست دادن اطلاعات در مورد محتوای آن فشرده شود.

عملکرد هر الگوریتم فشرده سازی را می توان با این حد مقایسه کرد. اگر از آن دور هستید، انگیزه ای برای تلاش بیشتر برای یافتن الگوریتم بهتر دارید. اما اگر به آن نزدیک باشید، می‌دانید که قوانین اطلاعاتی کیهان شما را از انجام کارهای بسیار بهتر باز می‌دارد.

تصویر اصلی: برای برقراری ارتباط با یک سری رویدادهای تصادفی، مانند چرخش سکه، باید از اطلاعات زیادی استفاده کنید، زیرا هیچ ساختاری برای پیام وجود ندارد. آنتروپی شانون این محدودیت اساسی را اندازه گیری می کند. اعتبار: کریستینا آرمیتاژ/مجله کوانتا.

این مقاله در ابتدا در انتزاعات کوانتایی وبلاگ.




منبع: khabar-shoma.ir

دیدگاهتان را بنویسید

hacklink al hd film izle php shell indir siber güvenlik türkçe anime izle Fethiye Escort android rat duşakabin fiyatları fud crypter hack forum instagram beğeni bayan escort - vip elit escort html nullednulled themesMobil Ödeme BozdurmaMobil Ödeme BozdurmaNovagraMobil Ödeme BozdurmaMobil Ödeme BozdurmaVodafone Mobil Ödeme Bozdurma