Бит, информационна ентропия на Шанън и код на Хеминг. Как да измервате всяка информация и да я предавате без загуба

Ентропия (теория на информацията)

Ентропия (информационен)- мярка за информационен хаос, несигурността на появата на всеки символ от първичната азбука. При липса на загуби на информация, той е числено равен на количеството информация на символ на предаденото съобщение.

Например в последователността от букви, които съставляват изречение на руски, различни букви се появяват с различна честота, така че несигурността на появата на някои букви е по-малка, отколкото на други. Ако вземем предвид, че някои комбинации от букви (в този случай говорим за ентропия н-ти ред, вижте) са много редки, тогава несигурността е допълнително намалена.

За да се илюстрира понятието информационна ентропия, може да се прибегне и до пример от областта на термодинамичната ентропия, наречен демон на Максуел. Понятията информация и ентропия имат дълбоки връзки помежду си, но въпреки това развитието на теориите в статистическата механика и теорията на информацията отне много години, за да ги направи съвместими една с друга.

Формални определения

Определяне с помощта на вашата собствена информация

Можете също да дефинирате ентропия случайна величина, като преди това е въвел концепцията за разпределение на случайна променлива х, имащи краен брой стойности: аз(х) = − дневник П х (х). Тогава ентропията ще се дефинира като: Единицата за измерване на информация и ентропия зависи от основата на логаритъма: bit, nat или hartley.

Информационна ентропияза независими случайни събития хс нвъзможни състояния (от 1 до н) се изчислява по формулата:

Това количество се нарича още средна ентропия на съобщението. Количеството се нарича частна ентропия, характеризиращ само аз-e състояние.

По този начин ентропията на събитието хе сумата с противоположен знак на всички произведения на относителните честоти на поява на събитието аз, умножени по техните собствени двоични логаритми (база 2 е избрана само за удобство при работа с информация, представена в двоична форма). Тази дефиниция за дискретни случайни събития може да бъде разширена до функция на разпределение на вероятностите.

Общо взето b-арна ентропия(Където bе равно на 2, 3, ...) източник с оригиналната азбука и дискретно разпределение на вероятностите, където стр азе вероятността а аз (стр аз = стр(а аз) ) се определя по формулата:

Определението за ентропия на Шанън е свързано с концепцията за термодинамична ентропия. Болцман и Гибс свършиха много работа по статистическата термодинамика, което допринесе за приемането на думата "ентропия" в теорията на информацията. Съществува връзка между термодинамичната и информационната ентропия. Например, демонът на Максуел също противопоставя термодинамичната ентропия на информацията и получаването на каквото и да е количество информация е равно на загубена ентропия.

Алтернативно определение

Друг начин за дефиниране на ентропийната функция е зе доказателство за това зе уникално определено (както беше посочено по-рано), ако и само ако зотговаря на условията:

Имоти

Важно е да запомните, че ентропията е величина, дефинирана в контекста на вероятностен модел за източник на данни. Например, хвърлянето на монета има ентропия − 2(0,5log 2 0,5) = 1 бит на хвърляне (ако приемем, че е независимо). Източник, който генерира низ, състоящ се само от буквите „A“, има нулева ентропия: . Така например може да се установи експериментално, че ентропията английски тексте равно на 1,5 бита на знак, което разбира се ще варира за различните текстове. Степента на ентропия на източник на данни означава средният брой битове на елемент от данни, необходими за криптиране без загуба на информация, с оптимално кодиране.

1. Някои битове данни може да не носят информация. Например, структурите от данни често съхраняват излишна информация или имат идентични секции, независимо от информацията в структурата от данни.
2. Количеството ентропия не винаги се изразява като цяло число битове.

Математически свойства

Ефективност

Оригиналната азбука, срещана в практиката, има вероятностно разпределение, което е далеч от оптималното. Ако оригиналната азбука имаше нзнаци, то може да се сравни с „оптимизирана азбука“, чието разпределение на вероятностите е равномерно. Съотношението на ентропията на оригиналната и оптимизираната азбука е ефективността на оригиналната азбука, която може да бъде изразена като процент.

От това следва, че ефективността на оригиналната азбука с нсимволите могат да бъдат определени просто като равни на него н-арна ентропия.

Ентропията ограничава максимално възможното компресиране без загуби (или почти без загуби), което може да се реализира с помощта на теоретично типичен набор или, на практика, кодиране на Хъфман, кодиране на Лемпел-Зив-Уелч или аритметично кодиране.

Вариации и обобщения

Условна ентропия

Ако последователността от знаци на азбуката не е независима (например в Френскибуквата "q" почти винаги е последвана от "u", а думата "редакция" в съветските вестници обикновено е последвана от думата "производство" или "труд"), количеството информация, носено от последователност от такива символи (и следователно ентропията) очевидно е по-малко. За да се вземат предвид такива факти, се използва условна ентропия.

Условната ентропия от първи ред (подобно на модела на Марков от първи ред) е ентропията за азбука, където вероятностите една буква да се появи след друга са известни (т.е. вероятностите за комбинации от две букви):

Където азе състояние, зависимо от предходния знак, и стр аз (й) - това е вероятността й, при условие че азбеше предишният герой.

И така, за руския език без буквата "".

Загубите на информация по време на предаване на данни в шумен канал са напълно описани чрез частични и общи условни ентропии. За целта се използват т.нар канални матрици. Така че, за да се опишат загубите от страна на източника (т.е. изпратеният сигнал е известен), се разглежда условната вероятност за получаване на символа от приемника b йпри условие, че знакът е изпратен а аз. В този случай матрицата на канала има следващ изглед:

	b 1	b 2	…	b й	…	b м
а 1			…		…
а 2			…		…
…	…	…	…	…	…	…
а аз			…		…
…	…	…	…	…	…	…
а м			…		…

Очевидно вероятностите, разположени по диагонала, описват вероятността за правилно приемане, а сумата от всички елементи на колоната ще даде вероятността съответният символ да се появи от страната на получателя - стр(b й) . Загуби на предаван сигнал а аз, се описват чрез частична условна ентропия:

За изчисляване на загубите при предаване на всички сигнали се използва общата условна ентропия:

Това означава ентропия от страната на източника; ентропията от страната на приемника се разглежда по подобен начин: вместо навсякъде, където е посочено (чрез сумиране на елементите на линията можете да получите стр(а аз) , а диагоналните елементи означават вероятността да бъде изпратен точният знак, който е получен, т.е. вероятността за правилно предаване).

Взаимна ентропия

Взаимна ентропия, или съюзна ентропия, е предназначен за изчисляване на ентропията на взаимосвързани системи (ентропията на съвместното появяване на статистически зависими съобщения) и се обозначава з(Аб) , Където А, както винаги, характеризира предавателя и б- приемник.

Връзката между предаваните и приетите сигнали се описва от вероятностите за съвместни събития стр(а аз b й) , и за пълно описание на характеристиките на канала е необходима само една матрица:

стр(а 1 b 1)	стр(а 1 b 2)	…	стр(а 1 b й)	…	стр(а 1 b м)
стр(а 2 b 1)	стр(а 2 b 2)	…	стр(а 2 b й)	…	стр(а 2 b м)
…	…	…	…	…	…
стр(а аз b 1)	стр(а аз b 2)	…	стр(а аз b й)	…	стр(а аз b м)
…	…	…	…	…	…
стр(а м b 1)	стр(а м b 2)	…	стр(а м b й)	…	стр(а м b м)

За по-общ случай, когато не се описва канал, а просто взаимодействащи системи, не е необходимо матрицата да е квадратна. Очевидно сумата от всички елементи на колоната с номер йще даде стр(b й) , сумата от номера на реда азИма стр(а аз) , а сумата от всички елементи на матрицата е равна на 1. Съвместна вероятност стр(а аз b й) събития а азИ b йсе изчислява като произведение на първоначалната и условната вероятност,

Условните вероятности се получават с помощта на формулата на Bayes. По този начин има всички данни за изчисляване на ентропиите на източника и приемника:

Взаимната ентропия се изчислява чрез последователно сумиране по редове (или колони) на всички вероятности на матрицата, умножени по техния логаритъм:

з(Аб) = −	∑	∑	стр(а аз b й)дневник стр(а аз b й).
	аз	й

Мерната единица е бит/два символа, което се обяснява с факта, че взаимната ентропия описва несигурността за двойка символи - изпратени и получени. Чрез прости трансформации също получаваме

Взаимната ентропия има свойството пълнота на информацията- от него можете да получите всички разглеждани количества.

История

Бележки

Вижте също

Връзки

• Клод Е. Шанън. Математическа теория на комуникацията
• С. М. Коротаев.

Какво означава терминът "ентропия" от гледна точка на теорията на информацията? и получи най-добрия отговор

Отговор от MarZ[guru]
Информационната ентропия, както е дефинирана от Шанън и добавена тясно от други физици, е тясно свързана с концепцията за термодинамична ентропия. Това е количество, обозначаващо нередуцируемото (некомпресируемо) количество информация, съдържащо се в дадена система (обикновено в получения сигнал).
В теорията на информацията
Ентропията в статистическата механика има тясна връзка с информационната ентропия - мярка за несигурност на съобщението, която се описва с набор от символи x_1,ldots,x_n и вероятности p_1,ldots,p_n за появата на тези символи в съобщение. В теорията на информацията ентропията на съобщение с дискретно разпределение на вероятностите е количеството
Sn = − ∑PkInPk,
к
Където
∑Pk = 1.
к
Информационната ентропия е равна на нула, когато всяка вероятност е равна на единица (а останалите са нула), т.е. когато информацията е напълно предвидима и не носи нищо ново на получателя. Ентропията отнема най-висока стойностза равновероятно разпределение, когато всички вероятности pk са еднакви; когато несигурността, разрешена от съобщението, е максимална. Информационната ентропия притежава и всички математически свойства, които притежава термодинамичната ентропия. Например, то е адитивно: ентропията на няколко съобщения е равна на сумата от ентропиите на отделните съобщения.
Източник: http://www.wikiznanie.ru/ru-wz/index.php/Рнтропия

Отговор от Александър Зонов[гуру]
Точно както в термодинамиката, ентропията е мярка за безпорядъка на дадена система.

Отговор от . [активен]
Ентропия (информация) - мярка за хаоса на информацията, несигурността на появата на всеки символ от първичната азбука. При липса на загуби на информация, той е числено равен на количеството информация на символ на предаденото съобщение.

Отговор от 3 отговора[гуру]

Здравейте! Ето селекция от теми с отговори на вашия въпрос: какво означава терминът „ентропия“ от гледна точка на теорията на информацията?

Информационна ентропия- мярка за несигурност или непредсказуемост на някаква система (в статистическата физика или теория на информацията), по-специално несигурността на появата на всеки символ от основната азбука. В последния случай, при липса на загуби на информация, ентропията е числено равна на количеството информация на символ на предаденото съобщение.

Например в последователността от букви, които съставляват изречение на руски, различни букви се появяват с различна честота, така че несигурността на появата на някои букви е по-малка, отколкото на други. Ако вземем предвид, че някои комбинации от букви (в този случай говорим за ентропия n (\displaystyle n)ти ред, вижте) са много редки, тогава несигурността намалява още повече.

Концепцията за информационната ентропия може да бъде илюстрирана с помощта на демона на Максуел. Понятията информация и ентропия имат дълбоки връзки помежду си [ който?], но въпреки това, развитието на теориите в статистическата механика и теорията на информацията отне много години, за да ги направи съвместими една с друга [ ] .

Ентропия- това е количеството информация за едно елементарно съобщение от източник, генериращ статистически независими съобщения.

Енциклопедичен YouTube

1 / 5

✪ Понятие за ентропия

✪ Какво е ентропия?

✪ Информационна ентропия

✪ Ентропия и втората закон на термодинамиката(видео 3) | Енергия| Биология

✪ Какво е ентропия? Джеф Филипс #TED-Ed

субтитри

И така, дадохме две дефиниции на ентропията като променлива на състоянието. Ентропията се символизира с буквата S. Според термодинамичната дефиниция промените в ентропията са равни на добавената топлина, разделена на температурата, при която тази топлина е добавена. Ако обаче температурата се промени с добавянето на топлина (което обикновено се случва), тогава ще трябва да направим някои изчисления. И това можете да мислите като математическо, статистическо или комбинаторно определение на ентропията. Според това определение ентропията е равна на константа, умножена по естествения логаритъм от броя на състоянията, които една система може да приеме. И в такъв случай всички състояния имат еднаква вероятност. Ако говорим за невъобразимо огромен брой молекули, които могат да имат още по-огромен брой състояния, можем да предположим, че всички те ще се различават с приблизително еднаква вероятност. Има и малко по-сложна дефиниция - за случаи с вероятности от различен порядък, но няма да я засягаме сега. Сега, след като разгледахме тези две дефиниции, е време да ви разкажем за втория закон на термодинамиката. Ето го. Това е доста прост закон, който в същото време обяснява много широк спектър от различни явления. Според този закон промените в ентропията във Вселената по време на всеки процес винаги ще бъдат по-големи от 0 или равни на него. Тоест, когато нещо се случи във Вселената, резултатът е увеличаване на ентропията. Това е много важно заключение. Нека да видим дали можем да приложим този закон към конкретни ситуации и по този начин да разберем значението му. Да кажем, че имам два резервоара, свързани един с друг. Тук имам Т1. Нека това бъде нашият горещ резервоар. Но тук имаме Т2. Това ще бъде студен резервоар. Е, знаем от опит... Какво се случва, ако съд с топла водаима обща стена със съд със студена вода? Какво се случва в такъв случай? Да, температурата на водата в тях е изравнена. Ако говорим за едно и също вещество, тогава процесът ще спре приблизително по средата, ако са в една и съща фаза. Така имаме работа с пренос на топлина от по-горещо вещество към по-студено. Имаме определена топлина, Q, която се пренася от по-горещо вещество към по-студено. Разбира се, в ежедневната реалност няма да видите пренос на топлина от по-студено вещество към по-горещо. Ако поставите кубче лед, да речем, в горещ чай, тогава, разбира се, ледът няма да стане по-студен и чаят няма да стане по-горещ. Температурата на двете вещества ще стане приблизително еднаква, т.е. всъщност чаят ще отдаде част от топлината на леда. Освен това говорим за два резервоара и предполагам, че температурата им остава постоянна. Това може да се случи само ако и двете са безкрайно големи, което разбира се не е така в реалния свят. В реалния свят Т1 ще намалее, а Т2 ще се увеличи. Но нека да видим дали това трябва да се случи, според втория закон на термодинамиката. И така, какво става тук? Каква е нетната промяна на ентропията за T1? Според втория закон на термодинамиката промяната в ентропията за Вселената е по-голяма от 0. Но в в такъв случайто е равно на промяната на ентропията за T1, плюс промяната на ентропията за... макар и не точно... вместо T1, нека просто го наречем 1... за система 1, тоест за тази гореща система, плюс ентропията промяна за система 2. И така, каква е промяната на ентропията за система 1? Губи Q1 при висока температура. Оказва се минус Q (защото системата отделя топлина), разделено на T1. След това трябва да вземем предвид топлината, добавена към системата T2. И така, нека добавим Q, делено на T2. Ще получим промяната на ентропията за система 2, нали? Този резервоар, който има температура с 1 по-висока, губи топлина. И резервоарът, който има повече ниска температура 2, получава топлина. Няма ли да е по-високо от 0? Нека помислим малко. Ако разделим... нека пренапиша това... Ще го запиша по друг начин: Q делено на Т2 минус това. Просто пренареждам числата... минус Q делено на Т1. И кой показател сега е по-голям? Т2 или Т1? Е, T1 е по-голям, нали? Сега, когато имаме по-висока цифра... Ако използваме думата "по-висока", имаме предвид определено сравнение. Така че Т1 е по-високо от това. Освен това и в двата случая имаме едно и също число в числителя, нали? Тоест, ако взема, да речем, 1/2 минус 1/3, ще получа степен, по-голяма от 0. Тази степен е по-голяма от тази, защото тази има по-голям знаменател. Делиш на по-голямо число. Над това си струва да се замислим. Разделяте Q на това число и след това изваждате Q, разделено на по-голямото число. Така че тази дроб тук ще има по-ниска абсолютна стойност. И ще бъде по-голямо от 0. Съответно, вторият закон на термодинамиката се потвърждава от нашето наблюдение, според което топлината се движи от горещо тяло към студено. Сега можете да кажете - Хей Сал, мога да докажа, че грешиш. Можете да кажете, ако сложа климатик в една стая... Това е стаята, а това е отвън. И казваш - виж какво прави климатика! В стаята вече е студено, а навън вече е горещо. Но какво прави един климатик? Това прави студените неща още по-студени, а горещите още по-горещи. Той взема определено Q и се движи в тази посока. нали Той взема топлина от студена стая и я освобождава в горещ въздух. И вие казвате – това нарушава втория закон на термодинамиката. Току-що го опровергахте. Вие заслужавате Нобелова награда! Но ще ти кажа - забравяш един малък факт. Вътре в този климатик има компресор и мотор, които работят активно и създават този резултат. И този двигател, ще го подчертая в розово, също отделя топлина. Нека го наречем Q мотор. Така че, ако искате да изчислите общата ентропия, създадена за цялата вселена, това ще бъде ентропията на студената стая плюс промяната в ентропията за улицата. Ентропия на студена стая плюс промяна на ентропията за улицата. Нека маркираме стаята тук... Може да кажете, добре. Тази промяна в ентропията за стая, която отделя топлина... нека приемем, че стаята поддържа постоянна температура за поне една милисекунда. Стаята отделя малко Q при определена температура T1. И тогава... тук трябва да поставите минус... тогава улицата получава малко топлина при определена температура T2. И ще кажете: тази цифра е по-малка от тази. Защото знаменателят е по-висок. Тогава ще бъде отрицателна ентропия и може да се каже, че това нарушава втория закон на термодинамиката. Не! Тук трябва да вземем предвид още един момент: че улицата също получава топлина от двигателя. Топлината на двигателя, разделена на външната температура. И гарантирам, че тази променлива, няма да давам числа точно сега, ще направи целия този израз положителен. Тази променлива ще направи общата нетна ентропия за Вселената положителна. Сега нека помислим малко какво е ентропия от гледна точка на терминологията. В уроците по химия учителят често може да каже, че ентропията е равна на безпорядък. Не е грешка. Ентропията е равно на безпорядък. Това не е грешка, защото ентропията наистина е разстройство, но трябва да бъдете много внимателни как дефинирате разстройството. Защото един от най-честите примери е: да вземем чиста стая – да кажем, че спалнята ви е чиста, но след това става мръсна. И те казват, вижте, вселената е станала по-неподредена. Мръсната стая е по-разхвърляна от чистата. Но това не е увеличение на ентропията. Така че това не е много добър пример. Защо? Да, защото чисто и мръсно са само състояния на стаята. И помним, че ентропията е макро променлива на състоянието. Използвате го за системни описания, когато не си в настроение да седнеш тук и да ми кажеш какво точно прави всяка частица. И това е макропроменлива, която ми казва колко време ще отнеме, за да ми каже какво прави всяка частица. Тази променлива показва колко състояния съществуват в този случай или колко информация за състоянията бих искал да получа от вас. В случай на чиста стая и мръсна стая, имаме само две различни състояния на една и съща стая. Ако една стая е с еднаква температура и има същия брой молекули и т.н., тогава тя ще има същата ентропия. Така че, когато стаята стане по-мръсна, ентропията не се увеличава. Например, имам мръсна, студена стая. Да кажем, че влязох в тази стая и положих много усилия да я почистя. Така че добавям част от топлината към системата и молекулите на моята пот се разпръскват из цялата стая - съответно в нея се появява повече съдържание и става по-топло, превръщайки се в гореща, чиста стая с капчици пот. Това съдържание може да бъде подредено по повече от един начин и тъй като стаята е гореща, всяка молекула в нея може да приеме повече състояния, нали? Тъй като средната кинетична енергия е висока, можем да се опитаме да разберем колко кинетична енергия може да има всяка молекула и потенциално това количество може да бъде доста голямо. По същество това е увеличение на ентропията. От мръсна, студена стая в топла и чиста. И това пасва доста добре на това, което знаем. Тоест, когато вляза в една стая и започна да я чистя, внасям топлина в нея. И Вселената става повече... Предполагам, че можем да кажем, че ентропията се увеличава. И така, къде е хаосът тук? Да кажем, че имам топка и тя пада на земята и я удря. И тук трябва да зададем един въпрос, който постоянно се задава от откриването на първия закон на термодинамиката. След като топката удари земята... Топката удари земята, нали? Хвърлих го: има определено потенциална енергия, която след това се превръща в кинетична енергия и топката удря земята и след това спира. Тук възниква един напълно логичен въпрос – какво стана с цялата тази енергия? Закон за запазване на енергията. Къде отиде цялата тя? Точно преди да удари земята, топката имаше кинетична енергия и след това спря. Енергията сякаш е изчезнала. Но това не е вярно. Когато топката падне, тя има много... както знаете, всичко има своя собствена топлина. Ами земята? Молекулите му вибрираха с определена кинетична енергия и потенциална енергия. И тогава молекулите на нашата топка започнаха леко да вибрират. Но тяхното движение беше главно надолу, нали? Движението на повечето от молекулите на топката беше надолу. Когато удари земята, тогава... нека начертая повърхността на топката в контакт със земята. Молекулите на топката в предната част на топката ще изглеждат така. И има доста от тях. Това твърдо . Вероятно с решетъчна структура. И тогава топката удря земята. Когато това се случи... земята е просто още едно твърдо тяло... Страхотно, тук имаме микросъстояние. Какво ще се случи? Тези молекули ще взаимодействат с тези и ще прехвърлят своята кинетична енергия, насочена надолу... Те ще я прехвърлят на тези частици на земята. И те ще се изправят пред тях. И когато, да речем, тази частица се сблъска с тази, тя може да се движи в тази посока. И тази частица ще започне да трепти по този начин, напред-назад. Тази частица може да се отблъсне от тази и да се движи в тази посока, а след това да се сблъска с тази и да се премести тук. И след това, тъй като тази частица се сблъсква тук, тази се сблъсква тук, и тъй като тази се удря тук, тази се удря тук. От гледна точка на топката има относително насочено движение, но когато влезе в контакт с молекулите на земята, тя започва да генерира кинетична енергия и да създава движение в различни посоки. Тази молекула ще премести тази тук, а тази ще се движи насам. Сега движението вече няма да е насочено, ако имаме толкова много молекули... Ще ги обознача с различен цвят... така че, ако имаме много молекули и всички те се движат точно в една и съща посока, тогава микросъстоянието ще изглежда като макродържава. Цялото тяло ще бъде в тази посока. Ако имаме много V и всички те се движат в различни посоки, тогава моята топка обикновено ще остане на мястото си. Може да имаме същото количество кинетична енергия на молекулярно ниво, но всички те ще се сблъскат една с друга. И в този случай можем да опишем кинетичната енергия като вътрешна енергия или като температура, което е средната кинетична енергия. Така, когато казваме, че светът става все по-неподреден, ние мислим за реда на скоростите или енергиите на молекулите. Преди да бъдат подредени, молекулите може да вибрират малко, но най-вече ще паднат. Но когато ударят земята, всички веднага ще започнат да вибрират в различни посоки още малко. И земята също започва да вибрира в различни посоки. Така че – на ниво микродържава – нещата стават много по-объркани. Има още един доста интересен въпрос. Има и друга възможност... Може да си помислите: „Виж, тази топка падна и удари земята. Защо той просто не... не може ли самите молекули на земята да променят своя ред, така че да удрят молекулите на топката правилно? Има известна вероятност поради произволното движение в даден момент всички молекули на земята просто да ударят молекулите на топката по такъв начин, че тя да отскочи отново нагоре. Да, така е. Винаги има безкрайно малък шанс това да се случи. Има възможност топката просто да седи на земята... и това е доста интересно... Вероятно ще трябва да изчакате сто милиона години, за да се случи това, ако някога се случи... и топката може просто отскочи във въздуха. Има много малък шанс тези молекули да вибрират произволно по такъв начин, че да станат подредени за секунда и след това топката да отскочи. Но вероятността за това е практически 0. Така че, когато хората говорят за ред и безредие, безпорядъкът се увеличава, защото сега тези молекули ще се движат в различни посоки и ще вземат голямо количество потенциални състояния. И ние го видяхме. Както знаете, на определено ниво ентропията изглежда като нещо магическо, но на други нива изглежда съвсем логично. В едно видео... мисля, че беше последното видео... имах голям брой молекули и след това имаше това допълнително пространство тук и след това премахнах стената. И видяхме, че тези молекули... ясно е, че имаше някои молекули, които бяха отблъснати от тази стена по-рано, защото определено налягане беше свързано с това. След това, веднага щом премахнем тази стена, молекулите, които биха я ударили, ще продължат да се движат. Няма какво да ги спре. Движението ще бъде в тази посока. Те могат да се сблъскат с други молекули и с тези стени. Но що се отнася до тази посока, вероятността за сблъсък, особено за тези молекули, по принцип е равна на 0. Следователно ще настъпи разширяване и пълнене на контейнера. Така че всичко е съвсем логично. Но най-важното е, че вторият закон на термодинамиката, както видяхме в това видео, казва същото. Тоест, че молекулите ще се движат и ще запълнят контейнера. И има много малък шанс всички те да се върнат към подредено състояние. Разбира се, има определена възможност, движейки се на случаен принцип, те да се върнат в тази позиция. Но тази вероятност е много, много малка. Освен това, и искам да подчертая това, S е макросъстояние. Никога не говорим за ентропия във връзка с отделна молекула. Ако знаем какво прави отделна молекула, не трябва да се тревожим за ентропията. Трябва да мислим за системата като цяло. Така че, ако погледнем цялата система и не погледнем молекулите, няма да разберем какво наистина се е случило. В този случай можем да обърнем внимание само на статистическите свойства на молекулите. Колко молекули имаме, каква е тяхната температура, тяхната макродинамика, налягане... и познайте какво? Контейнерът, в който са поставени тези молекули, има повече състояния от по-малък контейнер със стена. Дори ако внезапно всички молекули случайно се съберат тук, ние няма да разберем, че това се е случило, защото не разглеждаме микросъстояния. И това е много важно да се има предвид. Когато някой каже, че мръсна стая има по-висока ентропия от чиста стая, трябва да разберем, че те гледат микросъстояния. А ентропията е преди всичко понятие, свързано с макросъстояние. Можете просто да кажете, че една стая има определено количество ентропия. Тоест понятието ентропия е свързано със стаята като цяло, но ще бъде полезно само когато не знаете какво точно се случва в нея. Имаш само най-много Главна идеяза това с какво е изпълнена стаята, каква е температурата в нея, какво е налягането. Това са всички общи макро свойства. Ентропията ще ни каже колко макросъстояния може да има тази макросистема. Или колко информация, тъй като има концепция за информационна ентропия, колко информация трябва да ви предоставя, за да можете да си съставите точна представа за микросъстоянието на системата в съответния момент във времето. така. Надявам се, че тази дискусия ви е била поне донякъде полезна и е изяснила някои погрешни схващания относно ентропията и ви е помогнала да добиете представа какво всъщност представлява тя. До следващото видео!

Формални определения

Информация двоична ентропияза независими случайни събития x (\displaystyle x)с n (\displaystyle n)възможни състояния, разпределени с вероятности ( i = 1, . . . , n (\displaystyle i=1,...,n)), изчислено по формулата

H (x) = − ∑ i = 1 n p i log 2 ⁡ p i . (\displaystyle H(x)=-\sum _(i=1)^(n)p_(i)\log _(2)p_(i).)

Това количество се нарича още средна ентропия на съобщението. величина H i = − log 2 ⁡ p i (\displaystyle H_(i)=-\log _(2)(p_(i)))Наречен частна ентропия, характеризиращ само i (\displaystyle i)-e състояние. Като цяло основата на логаритъма в дефиницията на ентропията може да бъде нещо по-голямо от 1; неговият избор определя единицата ентропия. Така че често (например при проблеми математическа статистика) може да е по-удобно да се използва натурален логаритъм.

По този начин ентропията на системата x (\displaystyle x)е сумата с противоположен знак на всички относителни честоти на поява на състояние (събитие) с номер i (\displaystyle i), умножени по техните собствени двоични логаритми. Тази дефиниция за дискретни случайни събития може да бъде официално разширена за непрекъснати разпределения, определени от разпределението на плътността на вероятностите, но полученият функционал ще има малко по-различни свойства (виж диференциална ентропия).

Определение на Шанън

Дефиницията на ентропията на Шанън е свързана с концепцията за термодинамична ентропия. Болцман и Гибс свършиха много работа по статистическата термодинамика, което допринесе за приемането на думата "ентропия" в теорията на информацията. Съществува връзка между термодинамичната и информационната ентропия. Например, демонът на Максуел също противопоставя термодинамичната ентропия на информацията и получаването на каквото и да е количество информация е равно на загубена ентропия.

Определяне с помощта на вашата собствена информация

Можете също така да определите ентропията на случайна променлива, като първо въведете концепцията за разпределение на случайна променлива X (\displaystyle X), имащи краен брой стойности:

P X (x i) = p i , p i ⩾ 0 , i = 1 , 2 , … , n (\displaystyle P_(X)(x_(i))=p_(i),\quad p_(i)\geqslant 0,\ ;i=1,\;2,\;\lточки ,\;n) ∑ i = 1 n p i = 1 (\displaystyle \sum _(i=1)^(n)p_(i)=1) I (X) = − log ⁡ P X (X) . (\displaystyle I(X)=-\log P_(X)(X).)

Тогава ентропията се определя като:

H (X) = E (I (X)) = − ∑ i = 1 n p (i) log ⁡ p (i) . (\displaystyle H(X)=E(I(X))=-\sum _(i=1)^(n)p(i)\log p(i).)

Единицата за измерване на количеството информация и ентропията зависи от основата на логаритъма: bit, nat, trit или hartley.

Имоти

Ентропията е величина, дефинирана в контекста на вероятностен модел за източник на данни. Например хвърлянето на монета има ентропия:

− 2 (1 2 log 2 ⁡ 1 2) = − log 2 ⁡ 1 2 = log 2 ⁡ 2 = 1 (\displaystyle -2\left((\frac (1)(2))\log _(2)( \frac (1)(2))\right)=-\log _(2)(\frac (1)(2))=\log _(2)2=1)битове за хвърляне (при условие, че е независим) и броя възможни състоянияравно на: 2 1 = 2 (\displaystyle 2^(1)=2) възможни състояния(значения) („глави” и „опашки”).

Източник, който генерира низ, състоящ се само от буквите „A“, има нулева ентропия: − ∑ i = 1 ∞ log 2 ⁡ 1 = 0 (\displaystyle -\sum _(i=1)^(\infty )\log _(2)1=0), и количеството възможни състоянияравно на: 2 0 = 1 (\displaystyle 2^(0)=1) възможно състояние(стойност) („A“) и не зависи от основата на логаритъма.
Това също е информация, която също трябва да се вземе предвид. Пример за устройства за съхранение, които използват битове с ентропия, равна на нула, но с количество информацияравно на 1 възможно състояние, т.е. не равни на нула, са битове данни, записани в ROM, в които всеки бит има само един възможно състояние.

Така например може да се установи експериментално, че ентропията на английски текст е 1,5 бита на символ, което разбира се ще варира за различните текстове. Степента на ентропия на източник на данни означава средният брой битове на елемент от данни, необходими за криптиране без загуба на информация, с оптимално кодиране.

1. Някои битове данни може да не носят информация. Например, структурите от данни често съхраняват излишна информация или имат идентични секции, независимо от информацията в структурата от данни.
2. Количеството ентропия не винаги се изразява като цяло число битове.

Математически свойства

1. Неотрицателност: H (X) ⩾ 0 (\displaystyle H(X)\geqslant 0).
2. Ограничение: H (X) = − E (log 2 ⁡ p i) = ∑ i = 1 n p i log 2 ⁡ 1 p i = ∑ i = 1 n p i f (g i) ⩽ f (∑ i = 1 n p i g i) = log 2 ⁡ n (\displaystyle H(X)=-E(\log _(2)p_(i))=\сума _(i=1)^(n)p_(i)\log _(2)(\frac (1)(p_ (i)))=\sum _(i=1)^(n)p_(i)f(g_(i))\leqslant f\left(\sum _(i=1)^(n)p_(i )g_(i)\right)=\log _(2)n), което следва от неравенството на Йенсен за вдлъбната функция f (g i) = log 2 ⁡ g i (\displaystyle f(g_(i))=\log _(2)g_(i))И g i = 1 p i (\displaystyle g_(i)=(\frac (1)(p_(i)))). Падам n (\displaystyle n)елементи от X (\displaystyle X)еднакво вероятно H (X) = log 2 ⁡ n (\displaystyle H(X)=\log _(2)n).
3. Ако е независима, тогава H (X ⋅ Y) = H (X) + H (Y) (\displaystyle H(X\cdot Y)=H(X)+H(Y)).
4. Ентропията е изпъкнала нагоре функция на вероятностно разпределение на елементи.
5. Ако X , Y (\displaystyle X,\;Y)тогава имат същото вероятностно разпределение на елементите H (X) = H (Y) (\displaystyle H(X)=H(Y)).

Ефективност

Азбуката може да има вероятностно разпределение, което далеч не е равномерно. Ако изходната азбука съдържа n (\displaystyle n)знаци, то може да се сравни с „оптимизирана азбука“, чието разпределение на вероятностите е равномерно. Съотношението на ентропията на оригиналната и оптимизираната азбука е ефективностна оригиналната азбука, което може да се изрази като процент. Ефективност на оригиналната азбука с n (\displaystyle n)символите също могат да бъдат определени като негови n (\displaystyle n)-арна ентропия.

Ентропията ограничава максимално възможното компресиране без загуби (или почти без загуби), което може да бъде постигнато с помощта на теоретично типичен набор или, на практика, кодиране на Хъфман, кодиране на Лемпел-Зив-Уелч или аритметично кодиране.

Вариации и обобщения

b-арна ентропия

Общо взето b-арна ентропия(Където bе равно на 2, 3, ...) източник S = (S , P) (\displaystyle (\mathcal (S))=(S,\;P))с оригиналната азбука S = ( a 1 , … , a n ) (\displaystyle S=\(a_(1),\;\ldots ,\;a_(n)\))и дискретно разпределение на вероятностите P = ( p 1 , … , p n ) , (\displaystyle P=\(p_(1),\;\ldots ,\;p_(n)\),)Където p i (\displaystyle p_(i))е вероятността ( p i = p (a i) (\displaystyle p_(i)=p(a_(i)))), се определя по формулата:

H b (S) = − ∑ i = 1 n p i log b ⁡ p i . (\displaystyle H_(b)((\mathcal (S)))=-\sum _(i=1)^(n)p_(i)\log _(b)p_(i).)

По-специално, когато b = 2 (\displaystyle b=2), получаваме обичайната двоична ентропия, измерена в битове. При b = 3 (\displaystyle b=3), получаваме тройна ентропия, измерена в тритове (един трит има източник на информация с три еднакво вероятни състояния). При b = e (\displaystyle b=e), получаваме информация, измерена в Nats.

Условна ентропия

Ако последователността от азбучни знаци не е независима (например на френски буквата „q“ почти винаги е последвана от „u“, а думата „редакция“ в съветските вестници обикновено е последвана от думата „производство“ или „труд “), количеството информация, носено от последователността от такива символи (и следователно ентропията) е очевидно по-малко. За да се вземат предвид такива факти, се използва условна ентропия.

Условна ентропияпърви ред (подобно на модела на Марков от първи ред) се нарича ентропия за азбуката, където са известни вероятностите за появата на една буква след друга (т.е. вероятностите на комбинации от две букви):

H 1 (S) = − ∑ i p i ∑ j p i (j) log 2 ⁡ p i (j) , (\displaystyle H_(1)((\mathcal (S)))=-\sum _(i)p_(i) \сума _(j)p_(i)(j)\log _(2)p_(i)(j),)

Където i (\displaystyle i)е състояние, зависимо от предходния знак, и p i (j) (\displaystyle p_(i)(j))- това е вероятността j (\displaystyle j)при условие че i (\displaystyle i)беше предишният герой.

Например за руски език без буквата "ё" H 0 = 5, H 1 = 4,358, H 2 = 3, 52, H 3 = 3, 01 (\displaystyle H_(0)=5,\;H_(1)=4(,)358,\;H_( 2)=3(,)52,\;H_(3)=3(,)01) .

Чрез частични и общи условни ентропии се описват напълно загубите на информация при предаване на данни в канал с шум. За целта се използват т.нар канални матрици. За да се опишат загубите от страна на източника (т.е. изпратеният сигнал е известен), се разглежда условната вероятност за получаване на символ от приемника, при условие че символът е изпратен a i (\displaystyle a_(i)). В този случай матрицата на канала има следната форма:

	b 1 (\displaystyle b_(1))	b 2 (\displaystyle b_(2))	…	b j (\displaystyle b_(j))	…	b m (\displaystyle b_(m))
a 1 (\displaystyle a_(1))	p (b 1 ∣ a 1) (\displaystyle p(b_(1)\mid a_(1)))	p (b 2 ∣ a 1) (\displaystyle p(b_(2)\mid a_(1)))	…	p (b j ∣ a 1) (\displaystyle p(b_(j)\mid a_(1)))	…	p (b m ∣ a 1) (\displaystyle p(b_(m)\mid a_(1)))
a 2 (\displaystyle a_(2))	p (b 1 ∣ a 2) (\displaystyle p(b_(1)\mid a_(2)))	p (b 2 ∣ a 2) (\displaystyle p(b_(2)\mid a_(2)))	…	p (b j ∣ a 2) (\displaystyle p(b_(j)\mid a_(2)))	…	p (b m ∣ a 2) (\displaystyle p(b_(m)\mid a_(2)))
…	…	…	…	…	…	…
a i (\displaystyle a_(i))	p (b 1 ∣ a i) (\displaystyle p(b_(1)\mid a_(i)))	p (b 2 ∣ a i) (\displaystyle p(b_(2)\mid a_(i)))	…	p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i)))	…	p (b m ∣ a i) (\displaystyle p(b_(m)\mid a_(i)))
…	…	…	…	…	…	…
a m (\displaystyle a_(m))	p (b 1 ∣ a m) (\displaystyle p(b_(1)\mid a_(m)))	p (b 2 ∣ a m) (\displaystyle p(b_(2)\mid a_(m)))	…	p (b j ∣ a m) (\displaystyle p(b_(j)\mid a_(m)))	…	p (b m ∣ a m) (\displaystyle p(b_(m)\mid a_(m)))

Очевидно вероятностите, разположени по диагонала, описват вероятността за правилно приемане и сумата от всички елементи на всяка линия дава 1. Загуби на предаван сигнал a i (\displaystyle a_(i)), се описват чрез частична условна ентропия:

H (B ∣ a i) = − ∑ j = 1 m p (b j ∣ a i) log 2 ⁡ p (b j ∣ a i) . (\displaystyle H(B\mid a_(i))=-\sum _(j=1)^(m)p(b_(j)\mid a_(i))\log _(2)p(b_( j)\среда a_(i)).)

За изчисляване на загубите при предаване на всички сигнали се използва общата условна ентропия:

H (B ∣ A) = ∑ i p (a i) H (B ∣ a i) . (\displaystyle H(B\mid A)=\sum _(i)p(a_(i))H(B\mid a_(i)).)

H (B ∣ A) (\displaystyle H(B\mid A))означава ентропия от страната на източника, третирана по подобен начин H (A ∣ B) (\displaystyle H(A\mid B))- ентропия от страна на приемника: вместо p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i)))посочено навсякъде p (a i ∣ b j) (\displaystyle p(a_(i)\mid b_(j)))(като сумирате елементите на линията, можете да получите p (a i) (\displaystyle p(a_(i))), а диагоналните елементи означават вероятността да бъде изпратен точният знак, който е получен, т.е. вероятността за правилно предаване).

Взаимна ентропия

Взаимна ентропия или съюзна ентропияе предназначен за изчисляване на ентропията на взаимосвързани системи (ентропията на съвместното появяване на статистически зависими съобщения) и се обозначава H (A B) (\displaystyle H(AB)), Където A (\displaystyle A)характеризира предавателя и B (\displaystyle B)- приемник.

Клод Елууд Шанън (1916-2001) -
американски инженер и математик
основател на теорията на информацията,
тези. теории за обработка, предаване
и съхранение на информация

Клод Шанънбеше първият, който интерпретира предадените съобщения и шума в комуникационните канали от статистическа гледна точка, разглеждайки както крайни, така и непрекъснати набори от съобщения. Нарича се Клод Шанън "бащата на теорията на информацията".

Един от най-известните научни трудовеКлод Шанън е неговата статия "Математическа теория на комуникацията", публикувана през 1948 г.

В тази работа Шанън, изследвайки проблема с рационалното предаване на информация през шумен комуникационен канал, предложи вероятностен подход за разбиране на комуникациите, създаде първата, наистина математическа теория за ентропията като мярка за случайност и въведе мярката дискретно разпределение стрвероятности за набор от алтернативни състояния на предавателя и приемника на съобщения.

Шанън постави изискванията за измерване на ентропията и изведе формула, която стана основа на теорията за количествената информация:

H(p).

Тук н- броя на знаците, от които може да бъде съставено съобщение (азбука), з - информационна двоична ентропия .

На практика стойностите на вероятността p iв горната формула те са заменени със статистически оценки: p i - относителна честота азти знак в съобщението, където н- броя на всички знаци в съобщението, N i- абсолютна честота азти знак в съобщението, т.е. номер на събитие азти знак в съобщението.

Във въведението към своята статия „Математическа теория на комуникацията“ Шанън отбелязва, че в тази статия той разширява теорията на комуникацията, чиито основни положения се съдържат във важни произведения НайкуистИ Хартли.

Хари Найкуист (1889-1976) -
Американски шведски инженер
произход, един от пионерите
теория на информацията

Ранните резултати на Найкуист при определяне на ширината на честотния диапазон, необходим за предаване на информация, поставиха основата за последващите успехи на Клод Шанън в развитието на теорията на информацията.

През 1928 г. Хартли въвежда логаритмичната мярка за информация з = Кдневник 2 н, което често се нарича количество информация на Хартли.

Хартли има следната важна теорема за необходимо количествоинформация: ако е в даден комплект М, състояща се от нелементи, съдържа елемент х, за който се знае само, че принадлежи към този комплект М, след това да намерите х, е необходимо да се получи количество информация за този набор, равно на log 2 нмалко.

Между другото, имайте предвид, че заглавието БИТдойде от английско съкращениеБИТ- Двоична цифра. Този термин е предложен за първи път от американски математик Джон Тъкипрез 1946г. Хартли и Шанън използваха бита като единица информация.

Като цяло ентропията на Шанън е ентропията на набор от вероятности стр 1 , стр 2 ,…, p n.

Ралф Винтън Лион Хартли (1888-1970)
- американски учен по електроника

Строго погледнато, ако х стр 1 , стр 2 ,…, p n- вероятността от всички негови възможни стойности, след това функцията з (х)уточнява ентропията на тази случайна променлива, в този случай, въпреки че хи не е ентропиен аргумент, можем да напишем з (х).

По същия начин, ако Yе крайна дискретна случайна променлива и р 1 , р 2 ,…, р m е вероятността от всички негови възможни стойности, тогава за тази случайна променлива можем да напишем з (Y).

Джон Уайлдър Тъки (1915-2000) -
американски математик. Тъки избран
бит за указване на една цифра
V двоична системамъртво разчитане

Шанън извика функцията з(х)ентропия по съвет Джон фон Нойман.

Нойман убеден: тази функция трябва да се нарича ентропия „по две причини. Първо, вашата функция за несигурност е използвана в статистическата механика под това име, така че вече има име. Второ, и по-важно, никой не знае какво всъщност е ентропията, така че вие ​​винаги ще имате предимството в дебата.".

Трябва да се предположи, че този съвет на Нойман не е обикновена шега. Най-вероятно и Джон фон Нойман, и Клод Шанън са знаели за информационната интерпретация на ентропията на Болцман като количество, характеризиращо непълнотата на информацията за системата.

По дефиницията на Шанън ентропия- това е количеството информация за едно елементарно съобщение от източник, генериращ статистически независими съобщения.

7. Ентропия на Колмогоров

Андрей Николаевич
Колмогоров (1903-1987) -
Съветски учен, един от най-големите
математици на 20 век

А.Н. КолмогоровБяха получени фундаментални резултати в много области на математиката, включително теорията на сложността на алгоритмите и теорията на информацията.

По-специално, той изигра ключова роля в трансформирането на теорията на информацията, формулирана от Клод Шанън като техническа дисциплина, в строг математическа наука, и в изграждането на теорията на информацията на фундаментално различна, различна от Шанън, основа.

В своите трудове по теория на информацията и в областта на теорията на динамичните системи А.Н. Колмогоров обобщава концепцията за ентропия към ергодични случайни процеси чрез разпределението на граничната вероятност. За да се разбере смисълът на това обобщение, е необходимо да се познават основните определения и понятия на теорията на случайните процеси.

Стойността на ентропията на Колмогоров (наричана още К-ентропия) определя оценка на степента на загуба на информация и може да се тълкува като мярка за „паметта“ на системата или мярка за степента на „забравяне“ на първоначалните условия. Може да се разглежда и като мярка за случайността на системата.

8. Ентропия на Рени

Алфред Рени (1921-1970) -
Унгарски математик, творец
Математически институт в Будапеща,
сега носи неговото име

Въвежда еднопараметърния ентропиен спектър на Рени.

От една страна, ентропията на Рени е обобщение на ентропията на Шанън. От друга страна, в същото време представлява обобщение на разстоянието (дивергенцията) Кулбак-Лайблер. Отбелязваме също, че именно Рени е отговорен за пълното доказателство на теоремата на Хартли за необходимото количество информация.

Разстояние Кулбак-Лайблер(информационна дивергенция, относителна ентропия) е асиметрична мярка за разстоянието едно от друго на две вероятностни разпределения.

Обикновено едно от сравняваните разпределения е „истинското“ разпределение, а второто разпределение е прогнозното (тествано) разпределение, което е приближение на първото.

Позволявам х, Y- това са крайни дискретни случайни променливи, за които диапазоните от възможни стойности принадлежат към даден набор и са известни функциите на вероятността: П (х = a i) = p iИ П (Y = a i) = ци.

След това DKL стойността на разстоянието Kullback-Leibler се изчислява с помощта на формулите

D KL (х, Y) =, D KL (Y, х) = .

В случай на абсолютно непрекъснати случайни променливи х, Y, дадени чрез техните плътности на разпределение, във формулите за изчисляване на стойността на разстоянието Kullback-Leibler, сумите се заменят със съответните интеграли.

Разстоянието Kullback-Leibler винаги е неотрицателно число и е равно на нула D KL(х, Y) = 0 тогава и само ако за дадени случайни променливи равенството е вярно почти навсякъде х = Y.

През 1960 г. Алфред Рени предлага своето обобщение на ентропията.

Ентропия на Рени представлява семейство от функционали за количественото разнообразие от случайност на система. Рени дефинира своята ентропия като момент от ред α на мярката на ε-разделението (покриването).

Нека α е дадено реално число, което отговаря на изискванията α ≥ 0, α ≠ 1. Тогава ентропията на Рени от ред α се дава по формулата з α = з α ( х), Където p i = П (х = x i) е вероятността за събитие, състоящо се във факта, че дискретна случайна променлива хще бъде равна на съответната му възможна стойност, н - общ бройразлични възможни стойности на случайна променлива х.

За равномерно разпределение при стр 1 = стр 2 =…= p n =1/н, всички ентропии на Рени са равни з α ( х) = дневник н.

В противен случай стойностите на ентропиите на Рени намаляват леко с нарастването на стойностите на параметъра α. Ентропиите на Рени играят важна роля в екологията и статистиката като индекси на разнообразието.

Ентропията на Рени също е важна в квантовата информация и може да се използва като мярка за сложност.

Нека разгледаме някои специални случаи на ентропия на Рени за конкретни стойности от ред α:

1. Ентропия на Хартли : з 0 = з 0 (х) = дневник н, Където н- мощност на областта на възможните стойности на крайна случайна променлива х, т.е. броя на различните елементи, принадлежащи към набор от възможни стойности;

2. Информационна ентропия на Шанън : з 1 = з 1 (х) = з 1 (стр) (дефинирана като граница като α → 1, която се намира лесно, например, като се използва правилото на L'Hopital);

3. Корелационна ентропия или ентропиен сблъсък: з 2 = з 2 (х)= - ln ( х = Y);

4. Мин-ентропия : з ∞ = з ∞ (х).

Обърнете внимание, че за всяка неотрицателна стойност на ред (α ≥ 0) неравенствата винаги са валидни: з ∞ (х) ≤ з α ( х). Освен това, з 2 (х) ≤ з 1 (х) И з ∞ (х) ≤ з 2 (х) ≤ 2· з ∞ (х).

Алфред Рени въвежда не само своите абсолютни ентропии (1.15), но също така дефинира спектър от мерки за дивергенция, които обобщават дивергенциите на Kullback-Leibner.

Нека α е дадено реално число, което отговаря на изискванията α > 0, α ≠ 1. Тогава в нотацията, използвана за определяне на стойността D KLРазстоянията на Kullback-Leibler, стойността на дивергенцията на Рени от ред α се определя от формулите

д α ( х, Y), д α ( х, Y).

Дивергенцията на Рени също се нарича алфа-дивергенция или α-дивергенция. Самият Рени използва логаритъм с основа 2, но както винаги, стойността на основата на логаритъма е напълно маловажна.

9. Ентропия на Цалис

Константино Цалис (роден през 1943 г.) -
бразилски физик
гръцки произход

През 1988 г. той предлага ново обобщение на ентропията, което е удобно за използване при разработването на теорията на нелинейната термодинамика.

Предложеното от него обобщение на ентропията може в близко бъдеще да изиграе значителна роля теоретична физикаи астрофизика.

Ентропия на Цалиспл, често наричана неекстензивна (неадитивна) ентропия, се определя за нмикросъстояния по следната формула:

пл = пл (х) = пл (стр) = К· , .

Тук К- размерна константа, ако размерността играе важна роля за разбирането на проблема.

Tsallis и неговите поддръжници предлагат да се развие "необширна статистическа механика и термодинамика" като обобщение на тези класически дисциплини за случая на системи с дълги спомени и/или сили на далечни разстояния.

От всички други видове ентропия, вкл. и от ентропията на Рени, ентропията на Цалис се различава по това, че не е адитивна. Това е фундаментална и важна разлика.

Цалис и неговите поддръжници вярват, че тази характеристика прави възможно конструирането на нова термодинамика и нова статистическа теория, които са начини за просто и правилно описание на системи с дълга памет и системи, в които всеки елемент взаимодейства не само с непосредствените си съседи, но и с цялата система като цяло или нейните големи части.

Пример за такива системи и следователно възможен обект на изследване с помощта на новата теория са космическите гравитиращи системи: звездни купове, мъглявини, галактики, купове от галактики и др.

От 1988 г., когато Константино Цалис предложи своята ентропия, се появиха значителен брой приложения на термодинамиката на аномални системи (с дължина на паметта и/или далечни сили), включително в областта на термодинамиката на гравитационните системи.

10. Квантова ентропия на фон Нойман

Джон (Янос) фон Нойман (1903-1957) -
американски математик и физик
Унгарски произход

Ентропията на фон Нойман играе важна роля в квантова физикаи в астрофизичните изследвания.

Джон фон Нойманнаправи значителен принос за развитието на такива клонове на науката като квантова физика, квантова логика, функционален анализ, теория на множествата, компютърни науки и икономика.

Той беше член на проекта Манхатън за развитие ядрени оръжия, един от създателите на математическата теория на игрите и концепцията за клетъчните автомати, както и основателят на съвременната компютърна архитектура.

Ентропията на фон Нойман, както всяка ентропия, е свързана с информация: в този случай с информация за квантовата система. И в тази връзка той играе ролята на фундаментален параметър, който количествено характеризира състоянието и посоката на еволюция на една квантова система.

Понастоящем ентропията на фон Нойман се използва широко в различни форми (условна ентропия, относителна ентропия и т.н.) в рамките на квантовата теория на информацията.

Различните мерки за заплитане са пряко свързани с ентропията на фон Нойман. Напоследък обаче се появиха редица работи, посветени на критиката на ентропията на Шанън като мярка за информация и нейната възможна неадекватност и, следователно, неадекватността на ентропията на фон Нойман като обобщение на ентропията на Шанън.

Този преглед (за съжаление, бегъл и понякога недостатъчно математически строг) на еволюцията на научните възгледи за понятието ентропия ни позволява да дадем отговори на важни въпроси, свързани с истинската същност на ентропията и перспективите за използване на ентропийния подход в научните и практически изследвания. Нека се ограничим до разглеждането на отговорите на два такива въпроса.

Първият въпрос: Многобройните видове ентропия, разгледани и неразгледани по-горе, имат ли нещо общо освен едно и също име?

Този въпрос възниква естествено, ако вземем предвид разнообразието, което характеризира различните съществуващи идеи за ентропията.

Днес научната общност не е разработила единен, общоприет отговор на този въпрос: някои учени отговарят на този въпрос положително, други - отрицателно, а трети третират общността на ентропиите от различни типове със забележима степен на съмнение. .

Клаузий, очевидно, е първият учен, убеден в универсалната природа на ентропията и вярва, че във всички процеси, протичащи във Вселената, тя играе важна роля, по-специално, определяйки посоката на тяхното развитие във времето.

Между другото, Рудолф Клаузиус излезе с една от формулировките на втория закон на термодинамиката: „Невъзможен е процес, единственият резултат от който би бил преносът на топлина от по-студено тяло към по-горещо“.

Тази формулировка на втория закон на термодинамиката се нарича Постулатът на Клаузиус , а необратимият процес, обсъждан в този постулат, е Процес на Клаузиус .

След откриването на втория закон на термодинамиката необратимите процеси играят уникална роля във физическата картина на света. Така известната статия от 1849г Уилям Томпсън, който съдържаше една от първите формулировки на втория закон на термодинамиката, беше наречен „За универсалната тенденция в природата да разсейва механичната енергия“.

Обърнете внимание също, че Клаузий е бил принуден да използва космологичен език: „Ентропията на Вселената клони към максимум“.

Иля Романович Пригожин (1917-2003) -
Белгийско-американски физик и
химик от руски произход,
Лауреат на Нобелова награда
по химия 1977г

Стигна до подобни заключения Иля Пригожин. Пригожин вярва, че принципът на ентропията е отговорен за необратимостта на времето във Вселената и може би играе важна роля в разбирането на значението на времето като физически феномен.

Към днешна дата са извършени много изследвания и обобщения на ентропията, включително от гледна точка на строгата математическа теория. Въпреки това, забележимата активност на математиците в тази област все още не е търсена в приложенията, с възможно изключение на произведенията Колмогоров, РениИ Цалис.

Несъмнено ентропията винаги е мярка (степен) на хаос, безредие. Именно многообразието от прояви на феномена хаос и безредие определя неизбежността на многообразието от модификации на ентропията.

Втори въпрос: Може ли обхватът на приложение на ентропийния подход да се счита за обширен или всички приложения на ентропията и втория закон на термодинамиката са ограничени до самата термодинамика и свързаните с нея области на физическата наука?

История научно изследванеентропията показва, че ентропията е научен феномен, открити в термодинамиката, а след това успешно мигрирали към други науки и преди всичко към теорията на информацията.

Несъмнено ентропията играе важна роля в почти всички области съвременна естествена наука: по топлофизика, по статистическа физика, по физическа и химична кинетика, по биофизика, астрофизика, космология и теория на информацията.

Говорейки за приложна математика, не може да не споменем приложенията на принципа на максималната ентропия.

Както вече беше отбелязано, важни областиприложенията на ентропията са квантовомеханични и релативистични обекти. В квантовата физика и астрофизиката подобни приложения на ентропията са от голям интерес.

Нека споменем само един оригинален резултат от термодинамиката на черните дупки: ентропия Черна дупкаравна на една четвърт от неговата повърхност (площ на хоризонта на събитията).

В космологията се смята, че ентропията на Вселената е равна на броя на квантите космическо микровълново фоново лъчение, на един нуклон.

По този начин обхватът на приложение на ентропийния подход е много обширен и включва голямо разнообразие от клонове на знанието, като се започне от термодинамиката, други области на физиката, компютърните науки и завърши, например, с историята и икономиката.

А.В. Сигал, лекар икономически науки, Кримски университет на името на V.I. Вернадски

Концепция Ентропия въведен за първи път през 1865 г. от R. Clausius в термодинамиката за определяне на мярката за необратимо разсейване на енергия. Ентропията се използва в различни клонове на науката, включително в теорията на информацията, като мярка за несигурността на всеки опит, тест, който може да има различни резултати. Тези дефиниции на ентропията имат дълбока вътрешна връзка. Така че въз основа на идеи за информация могат да бъдат изведени всички най-важни разпоредби статистическа физика. [BES. Физика. М: Голяма руска енциклопедия, 1998].

Информационна двоична ентропия за независими (неравновероятни) случайни събития хс нвъзможни състояния (от 1 до н, стр- вероятностна функция) се изчислява от Формулата на Шанън:

Това количество се нарича още средна ентропиясъобщения. Ентропията във формулата на Шанън е средната характеристика – математическо очакванеразпределения на случайна променлива.
Например в последователността от букви, които съставляват изречение на руски, различни букви се появяват с различна честота, така че несигурността на появата на някои букви е по-малка, отколкото на други.
През 1948 г., изследвайки проблема за рационалното предаване на информация чрез шумен комуникационен канал, Клод Шанън предлага революционен вероятностен подход за разбиране на комуникациите и създава първата наистина математическа теория за ентропията. Неговите сензационни идеи бързо послужиха като основа за развитието на теорията на информацията, която използва концепцията за вероятност. Концепцията за ентропия като мярка за случайност е въведена от Шанън в неговата статия „Математическа теория на комуникацията“, публикувана в две части в Bell System Technical Journal през 1948 г.

В случай на еднакво вероятни събития (специален случай), когато всички опции са еднакво вероятни, зависимостта остава само от броя на разглежданите опции и формулата на Шанън е значително опростена и съвпада с формулата на Хартли, предложена за първи път от американски инженер Ралф Хартлипрез 1928 г., като един от научните подходи за оценка на съобщенията:

, където I е количеството предадена информация, p е вероятността на събитието, N е възможният брой различни (еднакво вероятни) съобщения.

Задача 1. За еднакво вероятни събития.
В тестето има 36 карти. Колко информация се съдържа в съобщението, че от тестето е взета карта с портрет на „асо“; "Асо Пика"?

Вероятност p1 = 4/36 = 1/9 и p2 = 1/36. Използвайки формулата на Хартли, имаме:

Отговор: 3,17; 5,17 бита
Обърнете внимание (от втория резултат), че за кодиране на всички карти са необходими 6 бита.
От резултатите също така става ясно, че колкото по-ниска е вероятността за дадено събитие, толкова повече информация съдържа то. (Това свойство се нарича монотонност)

Задача 2. За неравновероятни събития
В тестето има 36 карти. От тях 12 са карти с „портрети“. Една по една една от картите се взема от тестето и се показва, за да се определи дали изобразява портрет. Картата се връща в тестето. Определете количеството информация, предавано всеки път, когато се покаже една карта.