Vzájemná informace

<!DOCTYPE html> <html class="client-nojs vector-feature-language-in-header-enabled vector-feature-language-in-main-page-header-disabled vector-feature-page-tools-pinned-disabled vector-feature-toc-pinned-clientpref-1 vector-feature-main-menu-pinned-disabled vector-feature-limited-width-clientpref-1 vector-feature-limited-width-content-enabled vector-feature-custom-font-size-clientpref-1 vector-feature-appearance-pinned-clientpref-1 vector-feature-night-mode-disabled skin-theme-clientpref-day vector-sticky-header-enabled vector-toc-available" lang="cs" dir="ltr"> <head> <meta charset="UTF-8"> <title>Vzájemná informace – Wikipedie</title> <script>(function(){var className="client-js vector-feature-language-in-header-enabled vector-feature-language-in-main-page-header-disabled vector-feature-page-tools-pinned-disabled vector-feature-toc-pinned-clientpref-1 vector-feature-main-menu-pinned-disabled vector-feature-limited-width-clientpref-1 vector-feature-limited-width-content-enabled vector-feature-custom-font-size-clientpref-1 vector-feature-appearance-pinned-clientpref-1 vector-feature-night-mode-disabled skin-theme-clientpref-day vector-sticky-header-enabled vector-toc-available";var cookie=document.cookie.match(/(?:^|; )cswikimwclientpreferences=([^;]+)/);if(cookie){cookie[1].split('%2C').forEach(function(pref){className=className.replace(new RegExp('(^| )'+pref.replace(/-clientpref-\w+$|[^\w-]+/g,'')+'-clientpref-\\w+( |$)'),'$1'+pref+'$2');});}document.documentElement.className=className;}());RLCONF={"wgBreakFrames":false,"wgSeparatorTransformTable":[",\t."," \t,"],"wgDigitTransformTable":["",""],"wgDefaultDateFormat": "ČSN basic dt","wgMonthNames":["","leden","únor","březen","duben","květen","červen","červenec","srpen","září","říjen","listopad","prosinec"],"wgRequestId":"d87c05ad-73a9-443c-9281-52375ca0848e","wgCanonicalNamespace":"","wgCanonicalSpecialPageName":false,"wgNamespaceNumber":0,"wgPageName":"Vzájemná_informace","wgTitle":"Vzájemná informace","wgCurRevisionId":24213106,"wgRevisionId":24213106,"wgArticleId":976277,"wgIsArticle":true,"wgIsRedirect":false,"wgAction":"view","wgUserName":null,"wgUserGroups":["*"],"wgCategories":["Údržba:Články s dočasně použitou šablonou","Údržba:Články obsahující odkazy na nedostupné zdroje","Údržba:Články k částečné úpravě","Monitoring:Články přeložené z enwiki","Monitoring:Články s identifikátorem GND","Teorie informace","Entropie a informace"],"wgPageViewLanguage":"cs","wgPageContentLanguage":"cs","wgPageContentModel":"wikitext","wgRelevantPageName":"Vzájemná_informace","wgRelevantArticleId":976277, "wgIsProbablyEditable":true,"wgRelevantPageIsProbablyEditable":true,"wgRestrictionEdit":[],"wgRestrictionMove":[],"wgNoticeProject":"wikipedia","wgCiteReferencePreviewsActive":false,"wgMediaViewerOnClick":true,"wgMediaViewerEnabledByDefault":true,"wgPopupsFlags":0,"wgVisualEditor":{"pageLanguageCode":"cs","pageLanguageDir":"ltr","pageVariantFallbacks":"cs"},"wgMFDisplayWikibaseDescriptions":{"search":true,"watchlist":true,"tagline":true,"nearby":true},"wgWMESchemaEditAttemptStepOversample":false,"wgWMEPageLength":30000,"wgEditSubmitButtonLabelPublish":true,"wgULSPosition":"interlanguage","wgULSisCompactLinksEnabled":false,"wgVector2022LanguageInHeader":true,"wgULSisLanguageSelectorEmpty":false,"wgWikibaseItemId":"Q252973","wgCheckUserClientHintsHeadersJsApi":["brands","architecture","bitness","fullVersionList","mobile","model","platform","platformVersion"],"GEHomepageSuggestedEditsEnableTopics":true,"wgGETopicsMatchModeEnabled":true,"wgGEStructuredTaskRejectionReasonTextInputEnabled": false,"wgGELevelingUpEnabledForUser":false};RLSTATE={"ext.globalCssJs.user.styles":"ready","site.styles":"ready","user.styles":"ready","ext.globalCssJs.user":"ready","user":"ready","user.options":"loading","ext.math.styles":"ready","ext.cite.styles":"ready","skins.vector.search.codex.styles":"ready","skins.vector.styles":"ready","skins.vector.icons":"ready","ext.wikimediamessages.styles":"ready","ext.visualEditor.desktopArticleTarget.noscript":"ready","ext.uls.interlanguage":"ready","wikibase.client.init":"ready"};RLPAGEMODULES=["ext.cite.ux-enhancements","mediawiki.page.media","site","mediawiki.page.ready","mediawiki.toc","skins.vector.js","ext.centralNotice.geoIP","ext.centralNotice.startUp","ext.gadget.WikiMiniAtlas","ext.gadget.OSMmapa","ext.gadget.direct-links-to-commons","ext.gadget.ReferenceTooltips","ext.gadget.courses","ext.urlShortener.toolbar","ext.centralauth.centralautologin","mmv.bootstrap","ext.popups","ext.visualEditor.desktopArticleTarget.init", "ext.visualEditor.targetLoader","ext.echo.centralauth","ext.eventLogging","ext.wikimediaEvents","ext.navigationTiming","ext.uls.interface","ext.cx.eventlogging.campaigns","ext.cx.uls.quick.actions","wikibase.client.vector-2022","ext.checkUser.clientHints","ext.growthExperiments.SuggestedEditSession"];</script> <script>(RLQ=window.RLQ||[]).push(function(){mw.loader.impl(function(){return["user.options@12s5i",function($,jQuery,require,module){mw.user.tokens.set({"patrolToken":"+\\","watchToken":"+\\","csrfToken":"+\\"}); }];});});</script> <link rel="stylesheet" href="/w/load.php?lang=cs&modules=ext.cite.styles%7Cext.math.styles%7Cext.uls.interlanguage%7Cext.visualEditor.desktopArticleTarget.noscript%7Cext.wikimediamessages.styles%7Cskins.vector.icons%2Cstyles%7Cskins.vector.search.codex.styles%7Cwikibase.client.init&only=styles&skin=vector-2022"> <script async="" src="/w/load.php?lang=cs&modules=startup&only=scripts&raw=1&skin=vector-2022"></script> <meta name="ResourceLoaderDynamicStyles" content=""> <link rel="stylesheet" href="/w/load.php?lang=cs&modules=site.styles&only=styles&skin=vector-2022"> <meta name="generator" content="MediaWiki 1.44.0-wmf.18"> <meta name="referrer" content="origin"> <meta name="referrer" content="origin-when-cross-origin"> <meta name="robots" content="max-image-preview:standard"> <meta name="format-detection" content="telephone=no"> <meta property="og:image" content="https://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy-mutual-information-relative-entropy-relation-diagram.svg/1200px-Entropy-mutual-information-relative-entropy-relation-diagram.svg.png"> <meta property="og:image:width" content="1200"> <meta property="og:image:height" content="845"> <meta property="og:image" content="https://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy-mutual-information-relative-entropy-relation-diagram.svg/800px-Entropy-mutual-information-relative-entropy-relation-diagram.svg.png"> <meta property="og:image:width" content="800"> <meta property="og:image:height" content="563"> <meta property="og:image" content="https://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy-mutual-information-relative-entropy-relation-diagram.svg/640px-Entropy-mutual-information-relative-entropy-relation-diagram.svg.png"> <meta property="og:image:width" content="640"> <meta property="og:image:height" content="451"> <meta name="viewport" content="width=1120"> <meta property="og:title" content="Vzájemná informace – Wikipedie"> <meta property="og:type" content="website"> <link rel="preconnect" href="//upload.wikimedia.org"> <link rel="alternate" media="only screen and (max-width: 640px)" href="//cs.m.wikipedia.org/wiki/Vz%C3%A1jemn%C3%A1_informace"> <link rel="alternate" type="application/x-wiki" title="Editovat" href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit"> <link rel="apple-touch-icon" href="/static/apple-touch/wikipedia.png"> <link rel="icon" href="/static/favicon/wikipedia.ico"> <link rel="search" type="application/opensearchdescription+xml" href="/w/rest.php/v1/search" title="Wikipedie (cs)"> <link rel="EditURI" type="application/rsd+xml" href="//cs.wikipedia.org/w/api.php?action=rsd"> <link rel="canonical" href="https://cs.wikipedia.org/wiki/Vz%C3%A1jemn%C3%A1_informace"> <link rel="license" href="https://creativecommons.org/licenses/by-sa/4.0/deed.cs"> <link rel="alternate" type="application/atom+xml" title="Atom kanál Wikipedie." href="/w/index.php?title=Speci%C3%A1ln%C3%AD:Posledn%C3%AD_zm%C4%9Bny&feed=atom"> <link rel="dns-prefetch" href="//meta.wikimedia.org" /> <link rel="dns-prefetch" href="login.wikimedia.org"> </head> <body class="skin--responsive skin-vector skin-vector-search-vue mediawiki ltr sitedir-ltr mw-hide-empty-elt ns-0 ns-subject mw-editable page-Vzájemná_informace rootpage-Vzájemná_informace skin-vector-2022 action-view"><a class="mw-jump-link" href="#bodyContent">Přeskočit na obsah</a> <div class="vector-header-container"> <header class="vector-header mw-header"> <div class="vector-header-start"> <nav class="vector-main-menu-landmark" aria-label="Projekt"> <div id="vector-main-menu-dropdown" class="vector-dropdown vector-main-menu-dropdown vector-button-flush-left vector-button-flush-right" title="Hlavní menu" > <input type="checkbox" id="vector-main-menu-dropdown-checkbox" role="button" aria-haspopup="true" data-event-name="ui.dropdown-vector-main-menu-dropdown" class="vector-dropdown-checkbox " aria-label="Hlavní menu" > <label id="vector-main-menu-dropdown-label" for="vector-main-menu-dropdown-checkbox" class="vector-dropdown-label cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only " aria-hidden="true" ><span class="vector-icon mw-ui-icon-menu mw-ui-icon-wikimedia-menu"></span> <span class="vector-dropdown-label-text">Hlavní menu</span> </label> <div class="vector-dropdown-content"> <div id="vector-main-menu-unpinned-container" class="vector-unpinned-container"> <div id="vector-main-menu" class="vector-main-menu vector-pinnable-element"> <div class="vector-pinnable-header vector-main-menu-pinnable-header vector-pinnable-header-unpinned" data-feature-name="main-menu-pinned" data-pinnable-element-id="vector-main-menu" data-pinned-container-id="vector-main-menu-pinned-container" data-unpinned-container-id="vector-main-menu-unpinned-container" > <div class="vector-pinnable-header-label">Hlavní menu</div> <button class="vector-pinnable-header-toggle-button vector-pinnable-header-pin-button" data-event-name="pinnable-header.vector-main-menu.pin">přesunout do postranního panelu</button> <button class="vector-pinnable-header-toggle-button vector-pinnable-header-unpin-button" data-event-name="pinnable-header.vector-main-menu.unpin">skrýt</button> </div> <div id="p-navigation" class="vector-menu mw-portlet mw-portlet-navigation" > <div class="vector-menu-heading"> Navigace </div> <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="n-mainpage" class="mw-list-item"><a href="/wiki/Hlavn%C3%AD_strana" title="Navštívit Hlavní stranu [z]" accesskey="z"><span>Hlavní strana</span></a></li><li id="n-help" class="mw-list-item"><a href="/wiki/N%C3%A1pov%C4%9Bda:Obsah" title="Místo, kde najdete pomoc"><span>Nápověda</span></a></li><li id="n-helpdesk" class="mw-list-item"><a href="/wiki/Wikipedie:Pot%C5%99ebuji_pomoc" title="Pokud si nevíte rady, zeptejte se ostatních"><span>Potřebuji pomoc</span></a></li><li id="n-featuredcontent" class="mw-list-item"><a href="/wiki/Wikipedie:Nejlep%C5%A1%C3%AD_%C4%8Dl%C3%A1nky" title="Přehled článků, které jsou považovány za nejlepší na české Wikipedii"><span>Nejlepší články</span></a></li><li id="n-randompage" class="mw-list-item"><a href="/wiki/Speci%C3%A1ln%C3%AD:N%C3%A1hodn%C3%A1_str%C3%A1nka" title="Přejít na náhodně vybranou stránku [x]" accesskey="x"><span>Náhodný článek</span></a></li><li id="n-recentchanges" class="mw-list-item"><a href="/wiki/Speci%C3%A1ln%C3%AD:Posledn%C3%AD_zm%C4%9Bny" title="Seznam posledních změn na této wiki [r]" accesskey="r"><span>Poslední změny</span></a></li><li id="n-portal" class="mw-list-item"><a href="/wiki/Wikipedie:Port%C3%A1l_Wikipedie" title="O projektu, jak můžete pomoci, kde hledat"><span>Komunitní portál</span></a></li><li id="n-villagepump" class="mw-list-item"><a href="/wiki/Wikipedie:Pod_l%C3%ADpou" title="Hlavní diskusní fórum"><span>Pod lípou</span></a></li><li id="n-specialpages" class="mw-list-item"><a href="/wiki/Speci%C3%A1ln%C3%AD:Speci%C3%A1ln%C3%AD_str%C3%A1nky"><span>Speciální stránky</span></a></li> </ul> </div> </div> </div> </div> </div> </div> </nav> <a href="/wiki/Hlavn%C3%AD_strana" class="mw-logo"> <img class="mw-logo-icon" src="/static/images/icons/wikipedia.png" alt="" aria-hidden="true" height="50" width="50"> <span class="mw-logo-container skin-invert"> <img class="mw-logo-wordmark" alt="Wikipedie" src="/static/images/mobile/copyright/wikipedia-wordmark-cs.svg" style="width: 7.5em; height: 1.1875em;"> <img class="mw-logo-tagline" alt="Wikipedie: Otevřená encyklopedie" src="/static/images/mobile/copyright/wikipedia-tagline-cs.svg" width="118" height="13" style="width: 7.375em; height: 0.8125em;"> </span> </a> </div> <div class="vector-header-end"> <div id="p-search" role="search" class="vector-search-box-vue vector-search-box-collapses vector-search-box-show-thumbnail vector-search-box-auto-expand-width vector-search-box"> <a href="/wiki/Speci%C3%A1ln%C3%AD:Hled%C3%A1n%C3%AD" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only search-toggle" title="Prohledat tuto wiki [f]" accesskey="f"><span class="vector-icon mw-ui-icon-search mw-ui-icon-wikimedia-search"></span> <span>Hledání</span> </a> <div class="vector-typeahead-search-container"> <div class="cdx-typeahead-search cdx-typeahead-search--show-thumbnail cdx-typeahead-search--auto-expand-width"> <form action="/w/index.php" id="searchform" class="cdx-search-input cdx-search-input--has-end-button"> <div id="simpleSearch" class="cdx-search-input__input-wrapper" data-search-loc="header-moved"> <div class="cdx-text-input cdx-text-input--has-start-icon"> <input class="cdx-text-input__input" type="search" name="search" placeholder="Hledat na Wikipedii" aria-label="Hledat na Wikipedii" autocapitalize="sentences" title="Prohledat tuto wiki [f]" accesskey="f" id="searchInput" > <span class="cdx-text-input__icon cdx-text-input__start-icon"></span> </div> <input type="hidden" name="title" value="Speciální:Hledání"> </div> <button class="cdx-button cdx-search-input__end-button">Hledat</button> </form> </div> </div> </div> <nav class="vector-user-links vector-user-links-wide" aria-label="Osobní nástroje"> <div class="vector-user-links-main"> <div id="p-vector-user-menu-preferences" class="vector-menu mw-portlet emptyPortlet" > <div class="vector-menu-content"> <ul class="vector-menu-content-list"> </ul> </div> </div> <div id="p-vector-user-menu-userpage" class="vector-menu mw-portlet emptyPortlet" > <div class="vector-menu-content"> <ul class="vector-menu-content-list"> </ul> </div> </div> <nav class="vector-appearance-landmark" aria-label="Vzhled"> <div id="vector-appearance-dropdown" class="vector-dropdown " title="Změnit vzhled velikosti písma, šířky stránky a barvy" > <input type="checkbox" id="vector-appearance-dropdown-checkbox" role="button" aria-haspopup="true" data-event-name="ui.dropdown-vector-appearance-dropdown" class="vector-dropdown-checkbox " aria-label="Vzhled" > <label id="vector-appearance-dropdown-label" for="vector-appearance-dropdown-checkbox" class="vector-dropdown-label cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only " aria-hidden="true" ><span class="vector-icon mw-ui-icon-appearance mw-ui-icon-wikimedia-appearance"></span> <span class="vector-dropdown-label-text">Vzhled</span> </label> <div class="vector-dropdown-content"> <div id="vector-appearance-unpinned-container" class="vector-unpinned-container"> </div> </div> </div> </nav> <div id="p-vector-user-menu-notifications" class="vector-menu mw-portlet emptyPortlet" > <div class="vector-menu-content"> <ul class="vector-menu-content-list"> </ul> </div> </div> <div id="p-vector-user-menu-overflow" class="vector-menu mw-portlet" > <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="pt-sitesupport-2" class="user-links-collapsible-item mw-list-item user-links-collapsible-item"><a data-mw="interface" href="https://donate.wikimedia.org/?wmf_source=donate&wmf_medium=sidebar&wmf_campaign=cs.wikipedia.org&uselang=cs" class=""><span>Podpořte Wikipedii</span></a> </li> <li id="pt-createaccount-2" class="user-links-collapsible-item mw-list-item user-links-collapsible-item"><a data-mw="interface" href="/w/index.php?title=Speci%C3%A1ln%C3%AD:Vytvo%C5%99it_%C3%BA%C4%8Det&returnto=Vz%C3%A1jemn%C3%A1+informace" title="Doporučujeme vytvořit si účet a přihlásit se, ovšem není to povinné" class=""><span>Vytvoření účtu</span></a> </li> <li id="pt-login-2" class="user-links-collapsible-item mw-list-item user-links-collapsible-item"><a data-mw="interface" href="/w/index.php?title=Speci%C3%A1ln%C3%AD:P%C5%99ihl%C3%A1sit&returnto=Vz%C3%A1jemn%C3%A1+informace" title="Doporučujeme vám přihlásit se, ovšem není to povinné. [o]" accesskey="o" class=""><span>Přihlášení</span></a> </li> </ul> </div> </div> </div> <div id="vector-user-links-dropdown" class="vector-dropdown vector-user-menu vector-button-flush-right vector-user-menu-logged-out" title="Další možnosti" > <input type="checkbox" id="vector-user-links-dropdown-checkbox" role="button" aria-haspopup="true" data-event-name="ui.dropdown-vector-user-links-dropdown" class="vector-dropdown-checkbox " aria-label="Osobní nástroje" > <label id="vector-user-links-dropdown-label" for="vector-user-links-dropdown-checkbox" class="vector-dropdown-label cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only " aria-hidden="true" ><span class="vector-icon mw-ui-icon-ellipsis mw-ui-icon-wikimedia-ellipsis"></span> <span class="vector-dropdown-label-text">Osobní nástroje</span> </label> <div class="vector-dropdown-content"> <div id="p-personal" class="vector-menu mw-portlet mw-portlet-personal user-links-collapsible-item" title="Uživatelské menu" > <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="pt-sitesupport" class="user-links-collapsible-item mw-list-item"><a href="https://donate.wikimedia.org/?wmf_source=donate&wmf_medium=sidebar&wmf_campaign=cs.wikipedia.org&uselang=cs"><span>Podpořte Wikipedii</span></a></li><li id="pt-createaccount" class="user-links-collapsible-item mw-list-item"><a href="/w/index.php?title=Speci%C3%A1ln%C3%AD:Vytvo%C5%99it_%C3%BA%C4%8Det&returnto=Vz%C3%A1jemn%C3%A1+informace" title="Doporučujeme vytvořit si účet a přihlásit se, ovšem není to povinné"><span class="vector-icon mw-ui-icon-userAdd mw-ui-icon-wikimedia-userAdd"></span> <span>Vytvoření účtu</span></a></li><li id="pt-login" class="user-links-collapsible-item mw-list-item"><a href="/w/index.php?title=Speci%C3%A1ln%C3%AD:P%C5%99ihl%C3%A1sit&returnto=Vz%C3%A1jemn%C3%A1+informace" title="Doporučujeme vám přihlásit se, ovšem není to povinné. [o]" accesskey="o"><span class="vector-icon mw-ui-icon-logIn mw-ui-icon-wikimedia-logIn"></span> <span>Přihlášení</span></a></li> </ul> </div> </div> <div id="p-user-menu-anon-editor" class="vector-menu mw-portlet mw-portlet-user-menu-anon-editor" > <div class="vector-menu-heading"> Stránky pro odhlášené editory <a href="/wiki/N%C3%A1pov%C4%9Bda:%C3%9Avod" aria-label="Více informací o editování"><span>dozvědět se více</span></a> </div> <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="pt-anoncontribs" class="mw-list-item"><a href="/wiki/Speci%C3%A1ln%C3%AD:Moje_p%C5%99%C3%ADsp%C4%9Bvky" title="Seznam editací provedených z této IP adresy [y]" accesskey="y"><span>Příspěvky</span></a></li><li id="pt-anontalk" class="mw-list-item"><a href="/wiki/Speci%C3%A1ln%C3%AD:Moje_diskuse" title="Diskuse o editacích provedených z této IP adresy [n]" accesskey="n"><span>Diskuse</span></a></li> </ul> </div> </div> </div> </div> </nav> </div> </header> </div> <div class="mw-page-container"> <div class="mw-page-container-inner"> <div class="vector-sitenotice-container"> <div id="siteNotice"></div> </div> <div class="vector-column-start"> <div class="vector-main-menu-container"> <div id="mw-navigation"> <nav id="mw-panel" class="vector-main-menu-landmark" aria-label="Projekt"> <div id="vector-main-menu-pinned-container" class="vector-pinned-container"> </div> </nav> </div> </div> <div class="vector-sticky-pinned-container"> <nav id="mw-panel-toc" aria-label="Obsah" data-event-name="ui.sidebar-toc" class="mw-table-of-contents-container vector-toc-landmark"> <div id="vector-toc-pinned-container" class="vector-pinned-container"> <div id="vector-toc" class="vector-toc vector-pinnable-element"> <div class="vector-pinnable-header vector-toc-pinnable-header vector-pinnable-header-pinned" data-feature-name="toc-pinned" data-pinnable-element-id="vector-toc" > <h2 class="vector-pinnable-header-label">Obsah</h2> <button class="vector-pinnable-header-toggle-button vector-pinnable-header-pin-button" data-event-name="pinnable-header.vector-toc.pin">přesunout do postranního panelu</button> <button class="vector-pinnable-header-toggle-button vector-pinnable-header-unpin-button" data-event-name="pinnable-header.vector-toc.unpin">skrýt</button> </div> <ul class="vector-toc-contents" id="mw-panel-toc-list"> <li id="toc-mw-content-text" class="vector-toc-list-item vector-toc-level-1"> <a href="#" class="vector-toc-link"> <div class="vector-toc-text">(úvod)</div> </a> </li> <li id="toc-Definice_vzájemné_informace" class="vector-toc-list-item vector-toc-level-1 vector-toc-list-item-expanded"> <a class="vector-toc-link" href="#Definice_vzájemné_informace"> <div class="vector-toc-text"> <span class="vector-toc-numb">1</span> <span>Definice vzájemné informace</span> </div> </a> <ul id="toc-Definice_vzájemné_informace-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Vztah_k_jiným_veličinám" class="vector-toc-list-item vector-toc-level-1 vector-toc-list-item-expanded"> <a class="vector-toc-link" href="#Vztah_k_jiným_veličinám"> <div class="vector-toc-text"> <span class="vector-toc-numb">2</span> <span>Vztah k jiným veličinám</span> </div> </a> <ul id="toc-Vztah_k_jiným_veličinám-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Varianty_vzájemné_informace" class="vector-toc-list-item vector-toc-level-1 vector-toc-list-item-expanded"> <a class="vector-toc-link" href="#Varianty_vzájemné_informace"> <div class="vector-toc-text"> <span class="vector-toc-numb">3</span> <span>Varianty vzájemné informace</span> </div> </a> <button aria-controls="toc-Varianty_vzájemné_informace-sublist" class="cdx-button cdx-button--weight-quiet cdx-button--icon-only vector-toc-toggle"> <span class="vector-icon mw-ui-icon-wikimedia-expand"></span> <span>Přepnout podsekci Varianty vzájemné informace</span> </button> <ul id="toc-Varianty_vzájemné_informace-sublist" class="vector-toc-list"> <li id="toc-Metrika" class="vector-toc-list-item vector-toc-level-2"> <a class="vector-toc-link" href="#Metrika"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.1</span> <span>Metrika</span> </div> </a> <ul id="toc-Metrika-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Podmíněná_vzájemná_informace" class="vector-toc-list-item vector-toc-level-2"> <a class="vector-toc-link" href="#Podmíněná_vzájemná_informace"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.2</span> <span>Podmíněná vzájemná informace</span> </div> </a> <ul id="toc-Podmíněná_vzájemná_informace-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Vícerozměrná_vzájemná_informace" class="vector-toc-list-item vector-toc-level-2"> <a class="vector-toc-link" href="#Vícerozměrná_vzájemná_informace"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.3</span> <span>Vícerozměrná vzájemná informace</span> </div> </a> <ul id="toc-Vícerozměrná_vzájemná_informace-sublist" class="vector-toc-list"> <li id="toc-Aplikace" class="vector-toc-list-item vector-toc-level-3"> <a class="vector-toc-link" href="#Aplikace"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.3.1</span> <span>Aplikace</span> </div> </a> <ul id="toc-Aplikace-sublist" class="vector-toc-list"> </ul> </li> </ul> </li> <li id="toc-Normalizované_varianty" class="vector-toc-list-item vector-toc-level-2"> <a class="vector-toc-link" href="#Normalizované_varianty"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.4</span> <span>Normalizované varianty</span> </div> </a> <ul id="toc-Normalizované_varianty-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Vážené_varianty" class="vector-toc-list-item vector-toc-level-2"> <a class="vector-toc-link" href="#Vážené_varianty"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.5</span> <span>Vážené varianty</span> </div> </a> <ul id="toc-Vážené_varianty-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Upravená_vzájemná_informace" class="vector-toc-list-item vector-toc-level-2"> <a class="vector-toc-link" href="#Upravená_vzájemná_informace"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.6</span> <span>Upravená vzájemná informace</span> </div> </a> <ul id="toc-Upravená_vzájemná_informace-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Absolutní_vzájemná_informace" class="vector-toc-list-item vector-toc-level-2"> <a class="vector-toc-link" href="#Absolutní_vzájemná_informace"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.7</span> <span>Absolutní vzájemná informace</span> </div> </a> <ul id="toc-Absolutní_vzájemná_informace-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Vzájemná_informace_pro_diskrétní_data" class="vector-toc-list-item vector-toc-level-2"> <a class="vector-toc-link" href="#Vzájemná_informace_pro_diskrétní_data"> <div class="vector-toc-text"> <span class="vector-toc-numb">3.8</span> <span>Vzájemná informace pro diskrétní data</span> </div> </a> <ul id="toc-Vzájemná_informace_pro_diskrétní_data-sublist" class="vector-toc-list"> </ul> </li> </ul> </li> <li id="toc-Aplikace_vzájemné_informace" class="vector-toc-list-item vector-toc-level-1 vector-toc-list-item-expanded"> <a class="vector-toc-link" href="#Aplikace_vzájemné_informace"> <div class="vector-toc-text"> <span class="vector-toc-numb">4</span> <span>Aplikace vzájemné informace</span> </div> </a> <ul id="toc-Aplikace_vzájemné_informace-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Reference" class="vector-toc-list-item vector-toc-level-1 vector-toc-list-item-expanded"> <a class="vector-toc-link" href="#Reference"> <div class="vector-toc-text"> <span class="vector-toc-numb">5</span> <span>Reference</span> </div> </a> <ul id="toc-Reference-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Literatura" class="vector-toc-list-item vector-toc-level-1 vector-toc-list-item-expanded"> <a class="vector-toc-link" href="#Literatura"> <div class="vector-toc-text"> <span class="vector-toc-numb">6</span> <span>Literatura</span> </div> </a> <ul id="toc-Literatura-sublist" class="vector-toc-list"> </ul> </li> <li id="toc-Související_články" class="vector-toc-list-item vector-toc-level-1 vector-toc-list-item-expanded"> <a class="vector-toc-link" href="#Související_články"> <div class="vector-toc-text"> <span class="vector-toc-numb">7</span> <span>Související články</span> </div> </a> <ul id="toc-Související_články-sublist" class="vector-toc-list"> </ul> </li> </ul> </div> </div> </nav> </div> </div> <div class="mw-content-container"> <main id="content" class="mw-body"> <header class="mw-body-header vector-page-titlebar"> <nav aria-label="Obsah" class="vector-toc-landmark"> <div id="vector-page-titlebar-toc" class="vector-dropdown vector-page-titlebar-toc vector-button-flush-left" title="Obsah" > <input type="checkbox" id="vector-page-titlebar-toc-checkbox" role="button" aria-haspopup="true" data-event-name="ui.dropdown-vector-page-titlebar-toc" class="vector-dropdown-checkbox " aria-label="Přepnout obsah" > <label id="vector-page-titlebar-toc-label" for="vector-page-titlebar-toc-checkbox" class="vector-dropdown-label cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only " aria-hidden="true" ><span class="vector-icon mw-ui-icon-listBullet mw-ui-icon-wikimedia-listBullet"></span> <span class="vector-dropdown-label-text">Přepnout obsah</span> </label> <div class="vector-dropdown-content"> <div id="vector-page-titlebar-toc-unpinned-container" class="vector-unpinned-container"> </div> </div> </div> </nav> <h1 id="firstHeading" class="firstHeading mw-first-heading"><span class="mw-page-title-main">Vzájemná informace</span></h1> <div id="p-lang-btn" class="vector-dropdown mw-portlet mw-portlet-lang" > <input type="checkbox" id="p-lang-btn-checkbox" role="button" aria-haspopup="true" data-event-name="ui.dropdown-p-lang-btn" class="vector-dropdown-checkbox mw-interlanguage-selector" aria-label="Přejděte k článku v jiném jazyce. Je dostupný v 20 jazycích" > <label id="p-lang-btn-label" for="p-lang-btn-checkbox" class="vector-dropdown-label cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--action-progressive mw-portlet-lang-heading-20" aria-hidden="true" ><span class="vector-icon mw-ui-icon-language-progressive mw-ui-icon-wikimedia-language-progressive"></span> <span class="vector-dropdown-label-text">20 jazyků</span> </label> <div class="vector-dropdown-content"> <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li class="interlanguage-link interwiki-ar mw-list-item"><a href="https://ar.wikipedia.org/wiki/%D9%85%D8%B9%D9%84%D9%88%D9%85%D8%A7%D8%AA_%D9%85%D8%AA%D8%A8%D8%A7%D8%AF%D9%84%D8%A9" title="معلومات متبادلة – arabština" lang="ar" hreflang="ar" data-title="معلومات متبادلة" data-language-autonym="العربية" data-language-local-name="arabština" class="interlanguage-link-target"><span>العربية</span></a></li><li class="interlanguage-link interwiki-bar mw-list-item"><a href="https://bar.wikipedia.org/wiki/Transinformation" title="Transinformation – bavorština" lang="bar" hreflang="bar" data-title="Transinformation" data-language-autonym="Boarisch" data-language-local-name="bavorština" class="interlanguage-link-target"><span>Boarisch</span></a></li><li class="interlanguage-link interwiki-de mw-list-item"><a href="https://de.wikipedia.org/wiki/Transinformation" title="Transinformation – němčina" lang="de" hreflang="de" data-title="Transinformation" data-language-autonym="Deutsch" data-language-local-name="němčina" class="interlanguage-link-target"><span>Deutsch</span></a></li><li class="interlanguage-link interwiki-el mw-list-item"><a href="https://el.wikipedia.org/wiki/%CE%91%CE%BC%CE%BF%CE%B9%CE%B2%CE%B1%CE%AF%CE%B1_%CF%80%CE%BB%CE%B7%CF%81%CE%BF%CF%86%CE%BF%CF%81%CE%AF%CE%B1" title="Αμοιβαία πληροφορία – řečtina" lang="el" hreflang="el" data-title="Αμοιβαία πληροφορία" data-language-autonym="Ελληνικά" data-language-local-name="řečtina" class="interlanguage-link-target"><span>Ελληνικά</span></a></li><li class="interlanguage-link interwiki-en mw-list-item"><a href="https://en.wikipedia.org/wiki/Mutual_information" title="Mutual information – angličtina" lang="en" hreflang="en" data-title="Mutual information" data-language-autonym="English" data-language-local-name="angličtina" class="interlanguage-link-target"><span>English</span></a></li><li class="interlanguage-link interwiki-es mw-list-item"><a href="https://es.wikipedia.org/wiki/Informaci%C3%B3n_mutua" title="Información mutua – španělština" lang="es" hreflang="es" data-title="Información mutua" data-language-autonym="Español" data-language-local-name="španělština" class="interlanguage-link-target"><span>Español</span></a></li><li class="interlanguage-link interwiki-eu mw-list-item"><a href="https://eu.wikipedia.org/wiki/Elkarrekiko_informazio" title="Elkarrekiko informazio – baskičtina" lang="eu" hreflang="eu" data-title="Elkarrekiko informazio" data-language-autonym="Euskara" data-language-local-name="baskičtina" class="interlanguage-link-target"><span>Euskara</span></a></li><li class="interlanguage-link interwiki-fa mw-list-item"><a href="https://fa.wikipedia.org/wiki/%D8%A7%D8%B7%D9%84%D8%A7%D8%B9%D8%A7%D8%AA_%D9%85%D8%AA%D9%82%D8%A7%D8%A8%D9%84" title="اطلاعات متقابل – perština" lang="fa" hreflang="fa" data-title="اطلاعات متقابل" data-language-autonym="فارسی" data-language-local-name="perština" class="interlanguage-link-target"><span>فارسی</span></a></li><li class="interlanguage-link interwiki-fr mw-list-item"><a href="https://fr.wikipedia.org/wiki/Information_mutuelle" title="Information mutuelle – francouzština" lang="fr" hreflang="fr" data-title="Information mutuelle" data-language-autonym="Français" data-language-local-name="francouzština" class="interlanguage-link-target"><span>Français</span></a></li><li class="interlanguage-link interwiki-he mw-list-item"><a href="https://he.wikipedia.org/wiki/%D7%90%D7%99%D7%A0%D7%A4%D7%95%D7%A8%D7%9E%D7%A6%D7%99%D7%94_%D7%94%D7%93%D7%93%D7%99%D7%AA" title="אינפורמציה הדדית – hebrejština" lang="he" hreflang="he" data-title="אינפורמציה הדדית" data-language-autonym="עברית" data-language-local-name="hebrejština" class="interlanguage-link-target"><span>עברית</span></a></li><li class="interlanguage-link interwiki-it mw-list-item"><a href="https://it.wikipedia.org/wiki/Informazione_mutua" title="Informazione mutua – italština" lang="it" hreflang="it" data-title="Informazione mutua" data-language-autonym="Italiano" data-language-local-name="italština" class="interlanguage-link-target"><span>Italiano</span></a></li><li class="interlanguage-link interwiki-ja mw-list-item"><a href="https://ja.wikipedia.org/wiki/%E7%9B%B8%E4%BA%92%E6%83%85%E5%A0%B1%E9%87%8F" title="相互情報量 – japonština" lang="ja" hreflang="ja" data-title="相互情報量" data-language-autonym="日本語" data-language-local-name="japonština" class="interlanguage-link-target"><span>日本語</span></a></li><li class="interlanguage-link interwiki-ko mw-list-item"><a href="https://ko.wikipedia.org/wiki/%EC%83%81%ED%98%B8%EC%A0%95%EB%B3%B4" title="상호정보 – korejština" lang="ko" hreflang="ko" data-title="상호정보" data-language-autonym="한국어" data-language-local-name="korejština" class="interlanguage-link-target"><span>한국어</span></a></li><li class="interlanguage-link interwiki-pl mw-list-item"><a href="https://pl.wikipedia.org/wiki/Informacja_wzajemna" title="Informacja wzajemna – polština" lang="pl" hreflang="pl" data-title="Informacja wzajemna" data-language-autonym="Polski" data-language-local-name="polština" class="interlanguage-link-target"><span>Polski</span></a></li><li class="interlanguage-link interwiki-pt mw-list-item"><a href="https://pt.wikipedia.org/wiki/Informa%C3%A7%C3%A3o_m%C3%BAtua" title="Informação mútua – portugalština" lang="pt" hreflang="pt" data-title="Informação mútua" data-language-autonym="Português" data-language-local-name="portugalština" class="interlanguage-link-target"><span>Português</span></a></li><li class="interlanguage-link interwiki-ru mw-list-item"><a href="https://ru.wikipedia.org/wiki/%D0%92%D0%B7%D0%B0%D0%B8%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D1%8F" title="Взаимная информация – ruština" lang="ru" hreflang="ru" data-title="Взаимная информация" data-language-autonym="Русский" data-language-local-name="ruština" class="interlanguage-link-target"><span>Русский</span></a></li><li class="interlanguage-link interwiki-simple mw-list-item"><a href="https://simple.wikipedia.org/wiki/Mutual_information" title="Mutual information – Simple English" lang="en-simple" hreflang="en-simple" data-title="Mutual information" data-language-autonym="Simple English" data-language-local-name="Simple English" class="interlanguage-link-target"><span>Simple English</span></a></li><li class="interlanguage-link interwiki-uk mw-list-item"><a href="https://uk.wikipedia.org/wiki/%D0%92%D0%B7%D0%B0%D1%94%D0%BC%D0%BD%D0%B0_%D1%96%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D1%96%D1%8F" title="Взаємна інформація – ukrajinština" lang="uk" hreflang="uk" data-title="Взаємна інформація" data-language-autonym="Українська" data-language-local-name="ukrajinština" class="interlanguage-link-target"><span>Українська</span></a></li><li class="interlanguage-link interwiki-zh mw-list-item"><a href="https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF" title="互信息 – čínština" lang="zh" hreflang="zh" data-title="互信息" data-language-autonym="中文" data-language-local-name="čínština" class="interlanguage-link-target"><span>中文</span></a></li><li class="interlanguage-link interwiki-zh-yue mw-list-item"><a href="https://zh-yue.wikipedia.org/wiki/%E7%9B%B8%E4%BA%92%E8%B3%87%E8%A8%8A" title="相互資訊 – kantonština" lang="yue" hreflang="yue" data-title="相互資訊" data-language-autonym="粵語" data-language-local-name="kantonština" class="interlanguage-link-target"><span>粵語</span></a></li> </ul> <div class="after-portlet after-portlet-lang"><span class="wb-langlinks-edit wb-langlinks-link"><a href="https://www.wikidata.org/wiki/Special:EntityPage/Q252973#sitelinks-wikipedia" title="Editovat mezijazykové odkazy" class="wbc-editpage">Upravit odkazy</a></span></div> </div> </div> </div> </header> <div class="vector-page-toolbar"> <div class="vector-page-toolbar-container"> <div id="left-navigation"> <nav aria-label="Jmenné prostory"> <div id="p-associated-pages" class="vector-menu vector-menu-tabs mw-portlet mw-portlet-associated-pages" > <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="ca-nstab-main" class="selected vector-tab-noicon mw-list-item"><a href="/wiki/Vz%C3%A1jemn%C3%A1_informace" title="Zobrazit obsahovou stránku [c]" accesskey="c"><span>Článek</span></a></li><li id="ca-talk" class="vector-tab-noicon mw-list-item"><a href="/wiki/Diskuse:Vz%C3%A1jemn%C3%A1_informace" rel="discussion" title="Diskuse ke stránce [t]" accesskey="t"><span>Diskuse</span></a></li> </ul> </div> </div> <div id="vector-variants-dropdown" class="vector-dropdown emptyPortlet" > <input type="checkbox" id="vector-variants-dropdown-checkbox" role="button" aria-haspopup="true" data-event-name="ui.dropdown-vector-variants-dropdown" class="vector-dropdown-checkbox " aria-label="Změnit variantu jazyka" > <label id="vector-variants-dropdown-label" for="vector-variants-dropdown-checkbox" class="vector-dropdown-label cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet" aria-hidden="true" ><span class="vector-dropdown-label-text">čeština</span> </label> <div class="vector-dropdown-content"> <div id="p-variants" class="vector-menu mw-portlet mw-portlet-variants emptyPortlet" > <div class="vector-menu-content"> <ul class="vector-menu-content-list"> </ul> </div> </div> </div> </div> </nav> </div> <div id="right-navigation" class="vector-collapsible"> <nav aria-label="Zobrazení"> <div id="p-views" class="vector-menu vector-menu-tabs mw-portlet mw-portlet-views" > <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="ca-view" class="selected vector-tab-noicon mw-list-item"><a href="/wiki/Vz%C3%A1jemn%C3%A1_informace"><span>Číst</span></a></li><li id="ca-ve-edit" class="vector-tab-noicon mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit" title="Editovat tuto stránku [v]" accesskey="v"><span>Editovat</span></a></li><li id="ca-edit" class="collapsible vector-tab-noicon mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit" title="Editovat zdrojový kód této stránky [e]" accesskey="e"><span>Editovat zdroj</span></a></li><li id="ca-history" class="vector-tab-noicon mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=history" title="Starší verze této stránky. [h]" accesskey="h"><span>Zobrazit historii</span></a></li> </ul> </div> </div> </nav> <nav class="vector-page-tools-landmark" aria-label="Nástroje ke stránce"> <div id="vector-page-tools-dropdown" class="vector-dropdown vector-page-tools-dropdown" > <input type="checkbox" id="vector-page-tools-dropdown-checkbox" role="button" aria-haspopup="true" data-event-name="ui.dropdown-vector-page-tools-dropdown" class="vector-dropdown-checkbox " aria-label="Nástroje" > <label id="vector-page-tools-dropdown-label" for="vector-page-tools-dropdown-checkbox" class="vector-dropdown-label cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet" aria-hidden="true" ><span class="vector-dropdown-label-text">Nástroje</span> </label> <div class="vector-dropdown-content"> <div id="vector-page-tools-unpinned-container" class="vector-unpinned-container"> <div id="vector-page-tools" class="vector-page-tools vector-pinnable-element"> <div class="vector-pinnable-header vector-page-tools-pinnable-header vector-pinnable-header-unpinned" data-feature-name="page-tools-pinned" data-pinnable-element-id="vector-page-tools" data-pinned-container-id="vector-page-tools-pinned-container" data-unpinned-container-id="vector-page-tools-unpinned-container" > <div class="vector-pinnable-header-label">Nástroje</div> <button class="vector-pinnable-header-toggle-button vector-pinnable-header-pin-button" data-event-name="pinnable-header.vector-page-tools.pin">přesunout do postranního panelu</button> <button class="vector-pinnable-header-toggle-button vector-pinnable-header-unpin-button" data-event-name="pinnable-header.vector-page-tools.unpin">skrýt</button> </div> <div id="p-cactions" class="vector-menu mw-portlet mw-portlet-cactions emptyPortlet vector-has-collapsible-items" title="Další možnosti" > <div class="vector-menu-heading"> Akce </div> <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="ca-more-view" class="selected vector-more-collapsible-item mw-list-item"><a href="/wiki/Vz%C3%A1jemn%C3%A1_informace"><span>Číst</span></a></li><li id="ca-more-ve-edit" class="vector-more-collapsible-item mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit" title="Editovat tuto stránku [v]" accesskey="v"><span>Editovat</span></a></li><li id="ca-more-edit" class="collapsible vector-more-collapsible-item mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit" title="Editovat zdrojový kód této stránky [e]" accesskey="e"><span>Editovat zdroj</span></a></li><li id="ca-more-history" class="vector-more-collapsible-item mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=history"><span>Zobrazit historii</span></a></li> </ul> </div> </div> <div id="p-tb" class="vector-menu mw-portlet mw-portlet-tb" > <div class="vector-menu-heading"> Obecné </div> <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="t-whatlinkshere" class="mw-list-item"><a href="/wiki/Speci%C3%A1ln%C3%AD:Co_odkazuje_na/Vz%C3%A1jemn%C3%A1_informace" title="Seznam všech wikistránek, které sem odkazují [j]" accesskey="j"><span>Odkazuje sem</span></a></li><li id="t-recentchangeslinked" class="mw-list-item"><a href="/wiki/Speci%C3%A1ln%C3%AD:Souvisej%C3%ADc%C3%AD_zm%C4%9Bny/Vz%C3%A1jemn%C3%A1_informace" rel="nofollow" title="Nedávné změny stránek, na které je odkazováno [k]" accesskey="k"><span>Související změny</span></a></li><li id="t-upload" class="mw-list-item"><a href="//commons.wikimedia.org/wiki/Special:UploadWizard?uselang=cs" title="Nahrát obrázky či jiná multimédia [u]" accesskey="u"><span>Načíst soubor</span></a></li><li id="t-permalink" class="mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&oldid=24213106" title="Trvalý odkaz na současnou verzi této stránky"><span>Trvalý odkaz</span></a></li><li id="t-info" class="mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=info" title="Více informací o této stránce"><span>Informace o stránce</span></a></li><li id="t-cite" class="mw-list-item"><a href="/w/index.php?title=Speci%C3%A1ln%C3%AD:Citovat&page=Vz%C3%A1jemn%C3%A1_informace&id=24213106&wpFormIdentifier=titleform" title="Informace o tom, jak citovat tuto stránku"><span>Citovat stránku</span></a></li><li id="t-urlshortener" class="mw-list-item"><a href="/w/index.php?title=Speci%C3%A1ln%C3%AD:UrlShortener&url=https%3A%2F%2Fcs.wikipedia.org%2Fwiki%2FVz%25C3%25A1jemn%25C3%25A1_informace"><span>Získat zkrácené URL</span></a></li><li id="t-urlshortener-qrcode" class="mw-list-item"><a href="/w/index.php?title=Speci%C3%A1ln%C3%AD:QrCode&url=https%3A%2F%2Fcs.wikipedia.org%2Fwiki%2FVz%25C3%25A1jemn%25C3%25A1_informace"><span>Stáhnout QR kód</span></a></li> </ul> </div> </div> <div id="p-coll-print_export" class="vector-menu mw-portlet mw-portlet-coll-print_export" > <div class="vector-menu-heading"> Tisk/export </div> <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="coll-create_a_book" class="mw-list-item"><a href="/w/index.php?title=Speci%C3%A1ln%C3%AD:Kniha&bookcmd=book_creator&referer=Vz%C3%A1jemn%C3%A1+informace"><span>Vytvořit knihu</span></a></li><li id="coll-download-as-rl" class="mw-list-item"><a href="/w/index.php?title=Speci%C3%A1ln%C3%AD:DownloadAsPdf&page=Vz%C3%A1jemn%C3%A1_informace&action=show-download-screen"><span>Stáhnout jako PDF</span></a></li><li id="t-print" class="mw-list-item"><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&printable=yes" title="Tato stránka v podobě vhodné k tisku [p]" accesskey="p"><span>Verze k tisku</span></a></li> </ul> </div> </div> <div id="p-wikibase-otherprojects" class="vector-menu mw-portlet mw-portlet-wikibase-otherprojects" > <div class="vector-menu-heading"> Na jiných projektech </div> <div class="vector-menu-content"> <ul class="vector-menu-content-list"> <li id="t-wikibase" class="wb-otherproject-link wb-otherproject-wikibase-dataitem mw-list-item"><a href="https://www.wikidata.org/wiki/Special:EntityPage/Q252973" title="Odkaz na propojenou položku datového úložiště [g]" accesskey="g"><span>Položka Wikidat</span></a></li> </ul> </div> </div> </div> </div> </div> </div> </nav> </div> </div> </div> <div class="vector-column-end"> <div class="vector-sticky-pinned-container"> <nav class="vector-page-tools-landmark" aria-label="Nástroje ke stránce"> <div id="vector-page-tools-pinned-container" class="vector-pinned-container"> </div> </nav> <nav class="vector-appearance-landmark" aria-label="Vzhled"> <div id="vector-appearance-pinned-container" class="vector-pinned-container"> <div id="vector-appearance" class="vector-appearance vector-pinnable-element"> <div class="vector-pinnable-header vector-appearance-pinnable-header vector-pinnable-header-pinned" data-feature-name="appearance-pinned" data-pinnable-element-id="vector-appearance" data-pinned-container-id="vector-appearance-pinned-container" data-unpinned-container-id="vector-appearance-unpinned-container" > <div class="vector-pinnable-header-label">Vzhled</div> <button class="vector-pinnable-header-toggle-button vector-pinnable-header-pin-button" data-event-name="pinnable-header.vector-appearance.pin">přesunout do postranního panelu</button> <button class="vector-pinnable-header-toggle-button vector-pinnable-header-unpin-button" data-event-name="pinnable-header.vector-appearance.unpin">skrýt</button> </div> </div> </div> </nav> </div> </div> <div id="bodyContent" class="vector-body" aria-labelledby="firstHeading" data-mw-ve-target-container> <div class="vector-body-before-content"> <div class="mw-indicators"> </div> <div id="siteSub" class="noprint">Z Wikipedie, otevřené encyklopedie</div> </div> <div id="contentSub"><div id="mw-content-subtitle"></div></div> <div id="mw-content-text" class="mw-body-content"><div class="mw-content-ltr mw-parser-output" lang="cs" dir="ltr"><figure class="mw-halign-right" typeof="mw:File/Thumb"><a href="/wiki/Soubor:Entropy-mutual-information-relative-entropy-relation-diagram.svg" class="mw-file-description"><img src="//upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy-mutual-information-relative-entropy-relation-diagram.svg/256px-Entropy-mutual-information-relative-entropy-relation-diagram.svg.png" decoding="async" width="256" height="180" class="mw-file-element" srcset="//upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy-mutual-information-relative-entropy-relation-diagram.svg/384px-Entropy-mutual-information-relative-entropy-relation-diagram.svg.png 1.5x, //upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy-mutual-information-relative-entropy-relation-diagram.svg/512px-Entropy-mutual-information-relative-entropy-relation-diagram.svg.png 2x" data-file-width="744" data-file-height="524" /></a><figcaption>Vztah mezi entropiemi H(X) a H(Y), sdruženou entropií H(X,Y), podmíněnou entropií H(X|Y), H(Y|X) a vzájemnou informací I(X; Y) pro dvojici náhodných proměnných X, Y.</figcaption></figure> <p><b>Vzájemná informace</b> (<a href="/wiki/Angli%C4%8Dtina" title="Angličtina">anglicky</a> <span class="cizojazycne" lang="en" title="angličtina"><i>Mutual information</i>, <i>MI</i></span>) nebo (dříve) <b>transinformace</b> dvou <a href="/wiki/N%C3%A1hodn%C3%A1_prom%C4%9Bnn%C3%A1" class="mw-redirect" title="Náhodná proměnná">náhodných proměnných</a> je v <a href="/wiki/Teorie_pravd%C4%9Bpodobnosti" title="Teorie pravděpodobnosti">teorii pravděpodobnosti</a> a <a href="/wiki/Teorie_informace" title="Teorie informace">teorii informace</a> míra vzájemné závislosti <a href="/wiki/Prom%C4%9Bnn%C3%A1" title="Proměnná">proměnných</a>. Obvyklou <a href="/wiki/Fyzik%C3%A1ln%C3%AD_jednotka" title="Fyzikální jednotka">jednotkou</a> pro měření vzájemné informace je jeden <a href="/wiki/Bit" title="Bit">bit</a>. </p> <meta property="mw:PageProp/toc" /> <div class="mw-heading mw-heading2"><h2 id="Definice_vzájemné_informace"><span id="Definice_vz.C3.A1jemn.C3.A9_informace"></span>Definice vzájemné informace</h2><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=1" title="Editace sekce: Definice vzájemné informace" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=1" title="Editovat zdrojový kód sekce Definice vzájemné informace"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Formálně lze vzájemnou informaci dvou <a href="/wiki/N%C3%A1hodn%C3%A1_veli%C4%8Dina" title="Náhodná veličina">diskrétních náhodných proměnných</a> <i>X</i> a <i>Y</i> <a href="/wiki/Definice" title="Definice">definovat</a> jako: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},\,\!}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>y</mi> <mo>∈</mo> <mi>Y</mi> </mrow> </munder> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>x</mi> <mo>∈</mo> <mi>X</mi> </mrow> </munder> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> <mi>log</mi> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mrow> <mo>(</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> <mspace width="thinmathspace"></mspace> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mo>,</mo> <mspace width="thinmathspace"></mspace> <mspace width="negativethinmathspace"></mspace> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},\,\!}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/6a75f80322072168ff9ecb8cde63cca5aa9218e1" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.338ex; margin-right: -0.387ex; width:42.797ex; height:7.176ex;" alt="{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},\,\!}" /></span></dd></dl> <p>kde <i>p</i>(<i>x</i>,<i>y</i>) je sdružená <a href="/wiki/Pravd%C4%9Bpodobnostn%C3%AD_funkce" title="Pravděpodobnostní funkce">pravděpodobnostní funkce</a> proměnných <i>X</i> a <i>Y</i> a <i>p</i>(<i>x</i>) resp. <i>p</i>(<i>y</i>) jsou marginální <a href="/wiki/Pravd%C4%9Bpodobnostn%C3%AD_funkce" title="Pravděpodobnostní funkce">pravděpodobnostní funkce</a> proměnných <i>X</i> resp. <i>Y</i>. </p><p>V případě <a href="/wiki/Spojit%C3%A1_funkce" title="Spojitá funkce">spojité náhodné proměnné</a> je <a href="/wiki/Sumace" title="Sumace">sumace</a> nahrazena určitým <a href="/wiki/Dvojn%C3%BD_integr%C3%A1l" title="Dvojný integrál">dvojným integrálem</a>: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <msub> <mo>∫</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>Y</mi> </mrow> </msub> <msub> <mo>∫</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> </mrow> </msub> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> <mi>log</mi> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mrow> <mo>(</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> <mspace width="thinmathspace"></mspace> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mspace width="thickmathspace"></mspace> <mi>d</mi> <mi>x</mi> <mspace width="thinmathspace"></mspace> <mi>d</mi> <mi>y</mi> <mo>,</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/1caffcbf585eb07b171b1def8b2b5fd0290a904e" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:47.271ex; height:6.509ex;" alt="{\displaystyle I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,}" /></span></dd></dl> <p>kde <i>p</i>(<i>x</i>, <i>y</i>) je <a href="/wiki/Sdru%C5%BEen%C3%A1_pravd%C4%9Bpodobnost" class="mw-redirect" title="Sdružená pravděpodobnost">sdružená hustota pravděpodobnosti</a> <i>X</i> a <i>Y</i>, a <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p(x)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle p(x)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/8cb7afced134ef75572e5314a5d278c2d644f438" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; margin-left: -0.089ex; width:4.398ex; height:2.843ex;" alt="{\displaystyle p(x)}" /></span> resp. <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p(y)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle p(y)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/6b2c472d927e5b59281522a993493664cd3f4422" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; margin-left: -0.089ex; width:4.224ex; height:2.843ex;" alt="{\displaystyle p(y)}" /></span> jsou <a href="/wiki/Rozd%C4%9Blen%C3%AD_pravd%C4%9Bpodobnosti" title="Rozdělení pravděpodobnosti">marginální hustoty pravděpodobností</a> <i>X</i> resp. <i>Y</i>. </p><p>Jestliže použijeme <a href="/wiki/Logaritmus" title="Logaritmus">logaritmus</a> o základu 2, bude jednotkou vzájemné informace <a href="/wiki/Bit" title="Bit">bit</a>. </p><p><a href="/wiki/Intuice" title="Intuice">Intuitivně</a> je vzájemná informace mírou <a href="/wiki/Informace" title="Informace">informace</a>, kterou sdílí náhodné proměnné <i>X</i> a <i>Y</i>: udává, do jaké míry znalost jedné z těchto proměnných snižuje nejistotu o druhé. Pokud jsou náhodné proměnné <i>X</i> a <i>Y</i> nezávislé, což znamená, že znalost <i>X</i> nedává žádnou informaci o <i>Y</i> a naopak, pak jejich vzájemná informace je nulová. Opačným extrémem je, když X je deterministickou funkcí Y a Y je deterministickou funkcí X; pak veškerá informace nesená náhodnou proměnnou <i>X</i> je sdílená s <i>Y</i>, a proto znalost <i>X</i> určuje hodnotu <i>Y</i> a naopak. Důsledkem toho je, že v tomto případě vzájemná informace je totéž jako nejistota obsažená v <i>Y</i> (nebo <i>X</i>) samotné, čili <a href="/wiki/Entropie" title="Entropie">entropie</a> <i>Y</i> (nebo <i>X</i>). Navíc tato vzájemná informace je stejná jako entropie X, i jako entropie Y. (Velmi speciálním případem této situace je, když X a Y jsou ve skutečnosti stejnou náhodnou proměnnou.) </p><p>Vzájemná informace je míra nedílné závislosti vyjádřená <a href="/wiki/Sdru%C5%BEen%C3%A9_rozd%C4%9Blen%C3%AD" class="mw-redirect" title="Sdružené rozdělení">sdruženým rozdělením</a> náhodných proměnných <i>X</i> a <i>Y</i> vztaženým ke sdruženému rozdělení proměnných <i>X</i> a <i>Y</i>, kdyby byly nezávislé. Vzájemná informace proto měří závislost v následujícím smyslu: <i>I</i>(<i>X</i>; <i>Y</i>) = 0 <a href="/wiki/Pr%C3%A1v%C4%9B_tehdy,_kdy%C5%BE" class="mw-redirect" title="Právě tehdy, když">právě tehdy, když</a> <i>X</i> a <i>Y</i> jsou nezávislé náhodné proměnné. To je dobře vidět v jednom směru:, jestliže <i>X</i> a <i>Y</i> jsou nezávislé, pak <i>p</i>(<i>x</i>,<i>y</i>) = <i>p</i>(<i>x</i>) <i>p</i>(<i>y</i>) a proto: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}=\log 1=0.\,\!}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>log</mi> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mrow> <mo>(</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> <mspace width="thinmathspace"></mspace> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mo>=</mo> <mi>log</mi> <mo>⁡</mo> <mn>1</mn> <mo>=</mo> <mn>0.</mn> <mspace width="thinmathspace"></mspace> <mspace width="negativethinmathspace"></mspace> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle \log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}=\log 1=0.\,\!}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/44cd139e70e0324c1223b20f6091ad6cd1b7e31c" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; margin-right: -0.387ex; width:29.36ex; height:6.509ex;" alt="{\displaystyle \log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}=\log 1=0.\,\!}" /></span></dd></dl> <p>Vzájemná informace je vždy nezáporná (tj. <i>I</i>(<i>X</i>;<i>Y</i>) ≥ 0; viz níže) a <a href="/w/index.php?title=Symetrick%C3%A1_funkce&action=edit&redlink=1" class="new" title="Symetrická funkce (stránka neexistuje)">symetrická</a> (tj. <i>I</i>(<i>X</i>;<i>Y</i>) = <i>I</i>(<i>Y</i>;<i>X</i>)). </p> <div class="mw-heading mw-heading2"><h2 id="Vztah_k_jiným_veličinám"><span id="Vztah_k_jin.C3.BDm_veli.C4.8Din.C3.A1m"></span>Vztah k jiným veličinám</h2><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=2" title="Editace sekce: Vztah k jiným veličinám" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=2" title="Editovat zdrojový kód sekce Vztah k jiným veličinám"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Vzájemnou informaci lze <a href="/wiki/Ekvivalence_(matematika)" title="Ekvivalence (matematika)">ekvivalentně</a> vyjádřit jako </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\\&{}=H(Y)-H(Y|X)\\&{}=H(X)+H(Y)-H(X,Y)\\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mrow class="MJX-TeXAtom-ORD"> <mtable columnalign="right left right left right left right left right left right left" rowspacing="3pt" columnspacing="0em 2em 0em 2em 0em 2em 0em 2em 0em 2em 0em" displaystyle="true"> <mtr> <mtd> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mtd> <mtd> <mi></mi> <mrow class="MJX-TeXAtom-ORD"> </mrow> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Y</mi> <mo stretchy="false">)</mo> </mtd> </mtr> <mtr> <mtd></mtd> <mtd> <mi></mi> <mrow class="MJX-TeXAtom-ORD"> </mrow> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>X</mi> <mo stretchy="false">)</mo> </mtd> </mtr> <mtr> <mtd></mtd> <mtd> <mi></mi> <mrow class="MJX-TeXAtom-ORD"> </mrow> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>+</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mtd> </mtr> <mtr> <mtd></mtd> <mtd> <mi></mi> <mrow class="MJX-TeXAtom-ORD"> </mrow> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>X</mi> <mo stretchy="false">)</mo> </mtd> </mtr> </mtable> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle {\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\\&{}=H(Y)-H(Y|X)\\&{}=H(X)+H(Y)-H(X,Y)\\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/c13e97646e808df00481954f411dfcf1da9a4b60" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -5.671ex; width:42.505ex; height:12.509ex;" alt="{\displaystyle {\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\\&{}=H(Y)-H(Y|X)\\&{}=H(X)+H(Y)-H(X,Y)\\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}}" /></span></dd></dl> <p>kde <i>H</i>(<i>X</i>) a <i>H</i>(<i>Y</i>) jsou marginální <a href="/wiki/Entropie" title="Entropie">entropie</a>, <i>H</i>(<i>X</i>|<i>Y</i>) a <i>H</i>(<i>Y</i>|<i>X</i>) jsou <a href="/wiki/Podm%C3%ADn%C4%9Bn%C3%A1_entropie" title="Podmíněná entropie">podmíněné entropie</a> a <i>H</i>(<i>X</i>,<i>Y</i>) je <a href="/w/index.php?title=Sdru%C5%BEen%C3%A1_entropie&action=edit&redlink=1" class="new" title="Sdružená entropie (stránka neexistuje)">sdružená entropie</a> <i>X</i> a <i>Y</i>. Při použití <a href="/wiki/Jensenova_nerovnost" title="Jensenova nerovnost">Jensenovy nerovnosti</a> na definici vzájemné informace můžeme ukázat, že <i>I</i>(<i>X</i>;<i>Y</i>) je <a href="/wiki/Kladn%C3%A9_a_z%C3%A1porn%C3%A9_%C4%8D%C3%ADslo" title="Kladné a záporné číslo">nezáporná</a>, a odtud <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \ H(X)\geq H(X|Y)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mtext> </mtext> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>≥</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Y</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle \ H(X)\geq H(X|Y)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/56b81238aaeff57b7c5f214d1ffd4216b6149eaf" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:17.805ex; height:2.843ex;" alt="{\displaystyle \ H(X)\geq H(X|Y)}" /></span>. </p><p>Intuitivně: pokud entropii <i>H</i>(<i>X</i>) chápeme jako míru nejistoty hodnoty náhodné proměnné, pak <i>H</i>(<i>X</i>|<i>Y</i>) je míra toho, co <i>Y</i> <i>neříká</i> o <i>X</i>. To je „<a href="/wiki/Kvantita" title="Kvantita">množství</a> zbývající nejistoty o <i>X</i>, když je <i>Y</i> známé“ a proto pravou stranu první z těchto rovnic můžeme číst jako „množství nejistoty v <i>X</i>, <a href="/wiki/Znam%C3%A9nka_plus_a_minus" title="Znaménka plus a minus">minus</a> množství nejistoty v <i>X</i>, která zůstává, když je <i>Y</i> známé“, což je totéž jako „množství nejistoty o <i>X</i>, když je odstraněna znalost <i>Y</i>“. To potvrzuje intuitivní význam vzájemné informace jako množství informace (tj. snížení nejistoty), které znalost jedné proměnná poskytuje o druhé. </p><p>Všimněte si, že v diskrétním případě <i>H</i>(<i>X</i>|<i>X</i>) = 0, a proto <i>H</i>(<i>X</i>) = <i>I</i>(<i>X</i>;<i>X</i>). Tedy <i>I</i>(<i>X</i>;<i>X</i>) ≥ <i>I</i>(<i>X</i>;<i>Y</i>) a můžeme formulovat základní princip, že každá náhodná proměnná obsahuje nejméně tolik informace o sobě jako libovolná jiná proměnná. </p><p>Vzájemnou informaci lze také vyjádřit <a href="/wiki/Kullbackova-Leiblerova_divergence" class="mw-redirect" title="Kullbackova-Leiblerova divergence">Kullbackovou-Leiblerovou divergencí</a> součinu <i>p</i>(<i>x</i>) × <i>p</i>(<i>y</i>) <a href="/wiki/Margin%C3%A1ln%C3%AD_rozd%C4%9Blen%C3%AD" class="mw-redirect" title="Marginální rozdělení">marginálních rozdělení</a> náhodných proměnných <i>X</i> a <i>Y</i>, a <a href="/wiki/Sdru%C5%BEen%C3%A9_rozd%C4%9Blen%C3%AD" class="mw-redirect" title="Sdružené rozdělení">sdruženého rozdělení</a> náhodných proměnných <i>p</i>(<i>x</i>,<i>y</i>): </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(x,y)\|p(x)p(y)).}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <msub> <mi>D</mi> <mrow class="MJX-TeXAtom-ORD"> <mrow class="MJX-TeXAtom-ORD"> <mi mathvariant="normal">K</mi> <mi mathvariant="normal">L</mi> </mrow> </mrow> </msub> <mo stretchy="false">(</mo> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> <mo fence="false" stretchy="false">‖</mo> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> <mo stretchy="false">)</mo> <mo>.</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(x,y)\|p(x)p(y)).}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/2972c67fb6bc52c6c15d72c4073f26aa16ccf0f4" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:33.888ex; height:2.843ex;" alt="{\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(x,y)\|p(x)p(y)).}" /></span></dd></dl> <p>Pokud označíme <i>p</i>(<i>x</i>|<i>y</i>) = <i>p</i>(<i>x</i>, <i>y</i>) / <i>p</i>(<i>y</i>), pak </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum _{x}p(x|y)\log _{2}{\frac {p(x|y)}{p(x)}}\\&{}=\sum _{y}p(y)\;D_{\mathrm {KL} }(p(x|y)\|p(x))\\&{}=\mathbb {E} _{Y}\{D_{\mathrm {KL} }(p(x|y)\|p(x))\}.\end{aligned}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mrow class="MJX-TeXAtom-ORD"> <mtable columnalign="right left right left right left right left right left right left" rowspacing="3pt" columnspacing="0em 2em 0em 2em 0em 2em 0em 2em 0em 2em 0em" displaystyle="true"> <mtr> <mtd> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mtd> <mtd> <mi></mi> <mrow class="MJX-TeXAtom-ORD"> </mrow> <mo>=</mo> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>y</mi> </mrow> </munder> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>x</mi> </mrow> </munder> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>y</mi> <mo stretchy="false">)</mo> <msub> <mi>log</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>2</mn> </mrow> </msub> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd></mtd> <mtd> <mi></mi> <mrow class="MJX-TeXAtom-ORD"> </mrow> <mo>=</mo> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>y</mi> </mrow> </munder> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> <mspace width="thickmathspace"></mspace> <msub> <mi>D</mi> <mrow class="MJX-TeXAtom-ORD"> <mrow class="MJX-TeXAtom-ORD"> <mi mathvariant="normal">K</mi> <mi mathvariant="normal">L</mi> </mrow> </mrow> </msub> <mo stretchy="false">(</mo> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>y</mi> <mo stretchy="false">)</mo> <mo fence="false" stretchy="false">‖</mo> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> <mo stretchy="false">)</mo> </mtd> </mtr> <mtr> <mtd></mtd> <mtd> <mi></mi> <mrow class="MJX-TeXAtom-ORD"> </mrow> <mo>=</mo> <msub> <mrow class="MJX-TeXAtom-ORD"> <mi mathvariant="double-struck">E</mi> </mrow> <mrow class="MJX-TeXAtom-ORD"> <mi>Y</mi> </mrow> </msub> <mo fence="false" stretchy="false">{</mo> <msub> <mi>D</mi> <mrow class="MJX-TeXAtom-ORD"> <mrow class="MJX-TeXAtom-ORD"> <mi mathvariant="normal">K</mi> <mi mathvariant="normal">L</mi> </mrow> </mrow> </msub> <mo stretchy="false">(</mo> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>y</mi> <mo stretchy="false">)</mo> <mo fence="false" stretchy="false">‖</mo> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> <mo stretchy="false">)</mo> <mo fence="false" stretchy="false">}</mo> <mo>.</mo> </mtd> </mtr> </mtable> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle {\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum _{x}p(x|y)\log _{2}{\frac {p(x|y)}{p(x)}}\\&{}=\sum _{y}p(y)\;D_{\mathrm {KL} }(p(x|y)\|p(x))\\&{}=\mathbb {E} _{Y}\{D_{\mathrm {KL} }(p(x|y)\|p(x))\}.\end{aligned}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/3cf0bb5a2dbd5987ddb9bbed45831cd24a07cafa" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -7.505ex; width:41.481ex; height:16.176ex;" alt="{\displaystyle {\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum _{x}p(x|y)\log _{2}{\frac {p(x|y)}{p(x)}}\\&{}=\sum _{y}p(y)\;D_{\mathrm {KL} }(p(x|y)\|p(x))\\&{}=\mathbb {E} _{Y}\{D_{\mathrm {KL} }(p(x|y)\|p(x))\}.\end{aligned}}}" /></span></dd></dl> <p>neboli vzájemnou informaci můžeme také chápat jako <a href="/wiki/O%C4%8Dek%C3%A1van%C3%A1_hodnota" class="mw-redirect" title="Očekávaná hodnota">očekávanou hodnotu</a> Kullbackovy-Leiblerovy <a href="/wiki/Divergence" class="mw-disambig" title="Divergence">divergence</a> jednorozměrného rozdělení <i>p</i>(<i>x</i>) <i>X</i> a <a href="/w/index.php?title=Podm%C3%ADn%C4%9Bn%C3%A9_rozd%C4%9Blen%C3%AD_pravd%C4%9Bpodobnosti&action=edit&redlink=1" class="new" title="Podmíněné rozdělení pravděpodobnosti (stránka neexistuje)">podmíněného rozdělení pravděpodobnosti</a> <i>p</i>(<i>x</i>|<i>y</i>) náhodné proměnné <i>X</i> pro <i>Y</i>: čím rozdílnější jsou distribuce <i>p</i>(<i>x</i> | <i>y</i>) a <i>p</i>(<i>x</i>), tím větší je <a href="/wiki/Kullbackova-Leiblerova_divergence" class="mw-redirect" title="Kullbackova-Leiblerova divergence">informační zisk</a>. </p> <div class="mw-heading mw-heading2"><h2 id="Varianty_vzájemné_informace"><span id="Varianty_vz.C3.A1jemn.C3.A9_informace"></span>Varianty vzájemné informace</h2><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=3" title="Editace sekce: Varianty vzájemné informace" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=3" title="Editovat zdrojový kód sekce Varianty vzájemné informace"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Bylo navrženo několik variant vzájemné informace pro různé speciální potřeby. Patří mezi ně normalizované varianty a zobecnění na více než dvě proměnné. </p> <div class="mw-heading mw-heading3"><h3 id="Metrika">Metrika</h3><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=4" title="Editace sekce: Metrika" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=4" title="Editovat zdrojový kód sekce Metrika"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Mnoho aplikací vyžaduje <a href="/wiki/Metrika_(matematika)" class="mw-redirect" title="Metrika (matematika)">metriku</a>, tj. míru <a href="/wiki/Vzd%C3%A1lenost" title="Vzdálenost">vzdálenosti</a> mezi <a href="/wiki/Bod" title="Bod">body</a>. Hodnota </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle d(X,Y)=H(X,Y)-I(X;Y)=H(X)+H(Y)-2I(X;Y)=H(X|Y)+H(Y|X)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>d</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>+</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mn>2</mn> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>+</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>X</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle d(X,Y)=H(X,Y)-I(X;Y)=H(X)+H(Y)-2I(X;Y)=H(X|Y)+H(Y|X)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/5b31edf54b872059f9a8c1e121f2317e0876279a" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:81.874ex; height:2.843ex;" alt="{\displaystyle d(X,Y)=H(X,Y)-I(X;Y)=H(X)+H(Y)-2I(X;Y)=H(X|Y)+H(Y|X)}" /></span></dd></dl> <p>splňuje podmínky pro metriku (<a href="/wiki/Troj%C3%BAheln%C3%ADkov%C3%A1_nerovnost" title="Trojúhelníková nerovnost">trojúhelníková nerovnost</a>, <a href="/w/index.php?title=Nez%C3%A1pornost&action=edit&redlink=1" class="new" title="Nezápornost (stránka neexistuje)">nezápornost</a>, <a href="/w/index.php?title=Identita_nerozli%C5%A1iteln%C3%BDch&action=edit&redlink=1" class="new" title="Identita nerozlišitelných (stránka neexistuje)">identita nerozlišitelných</a> a <a href="/wiki/Symetrie" title="Symetrie">symetrie</a>). Tato vzdálenostní metrika je také známa jako <a href="/w/index.php?title=Variace_informace&action=edit&redlink=1" class="new" title="Variace informace (stránka neexistuje)">variace informace</a>. </p><p>Protože platí <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle d(X,Y)\leq H(X,Y)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>d</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>≤</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle d(X,Y)\leq H(X,Y)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/984a1abe46cfbeeba13c85de75fbdfb2a593be1d" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:19.571ex; height:2.843ex;" alt="{\displaystyle d(X,Y)\leq H(X,Y)}" /></span>, lze tuto metriku přirozeně normalizovat: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle D(X,Y)=d(X,Y)/H(X,Y)\leq 1.}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>D</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mi>d</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mrow class="MJX-TeXAtom-ORD"> <mo>/</mo> </mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>≤</mo> <mn>1.</mn> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle D(X,Y)=d(X,Y)/H(X,Y)\leq 1.}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/1006fff593af405c328fbb38d1826b2fcaa95c2f" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:34.162ex; height:2.843ex;" alt="{\displaystyle D(X,Y)=d(X,Y)/H(X,Y)\leq 1.}" /></span></dd></dl> <p>Metrika <i>D</i> je <a href="/w/index.php?title=Univerz%C3%A1ln%C3%AD_metrika&action=edit&redlink=1" class="new" title="Univerzální metrika (stránka neexistuje)">univerzální metrikou</a> v tom smyslu, že pokud libovolná jiná míra vzdálenosti říká, že <i>X</i> a <i>Y</i> si jsou blízké, pak také <i>D</i> o nich bude tvrdit, že si jsou blízké<sup id="cite_ref-1" class="reference"><a href="#cite_note-1"><span class="cite-bracket">[</span>1<span class="cite-bracket">]</span></a></sup>. </p><p><a href="/wiki/Mno%C5%BEina" title="Množina">Množinově</a> teoretická <a href="/wiki/Interpretace" title="Interpretace">interpretace</a> vzájemné informace (viz obrázek pro <a href="/wiki/Podm%C3%ADn%C4%9Bn%C3%A1_entropie" title="Podmíněná entropie">podmíněnou entropii</a>) ukazuje, že </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle D(X,Y)=1-I(X;Y)/H(X,Y)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>D</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mn>1</mn> <mo>−</mo> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mrow class="MJX-TeXAtom-ORD"> <mo>/</mo> </mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle D(X,Y)=1-I(X;Y)/H(X,Y)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/d1f7612ca2d049df0d2b8cc921b8a9cb3baeb469" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:33.213ex; height:2.843ex;" alt="{\displaystyle D(X,Y)=1-I(X;Y)/H(X,Y)}" /></span></dd></dl> <p>což je efektivně <a href="/w/index.php?title=Jaccardova_vzd%C3%A1lenost&action=edit&redlink=1" class="new" title="Jaccardova vzdálenost (stránka neexistuje)">Jaccardova vzdálenost</a> mezi <i>X</i> a <i>Y</i>. </p> <div class="mw-heading mw-heading3"><h3 id="Podmíněná_vzájemná_informace"><span id="Podm.C3.ADn.C4.9Bn.C3.A1_vz.C3.A1jemn.C3.A1_informace"></span>Podmíněná vzájemná informace</h3><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=5" title="Editace sekce: Podmíněná vzájemná informace" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=5" title="Editovat zdrojový kód sekce Podmíněná vzájemná informace"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Někdy je užitečné vyjádřit vzájemnou informaci dvou náhodných proměnných podmíněnou třetí proměnnou: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X;Y|Z)=\mathbb {E} _{Z}{\big (}I(X;Y)|Z{\big )}=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{Z}(z)p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}},}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Z</mi> <mo stretchy="false">)</mo> <mo>=</mo> <msub> <mrow class="MJX-TeXAtom-ORD"> <mi mathvariant="double-struck">E</mi> </mrow> <mrow class="MJX-TeXAtom-ORD"> <mi>Z</mi> </mrow> </msub> <mrow class="MJX-TeXAtom-ORD"> <mrow class="MJX-TeXAtom-ORD"> <mo maxsize="1.2em" minsize="1.2em">(</mo> </mrow> </mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Z</mi> <mrow class="MJX-TeXAtom-ORD"> <mrow class="MJX-TeXAtom-ORD"> <mo maxsize="1.2em" minsize="1.2em">)</mo> </mrow> </mrow> <mo>=</mo> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>z</mi> <mo>∈</mo> <mi>Z</mi> </mrow> </munder> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>y</mi> <mo>∈</mo> <mi>Y</mi> </mrow> </munder> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>x</mi> <mo>∈</mo> <mi>X</mi> </mrow> </munder> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>z</mi> <mo stretchy="false">)</mo> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>z</mi> <mo stretchy="false">)</mo> <mi>log</mi> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>z</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>x</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>z</mi> <mo stretchy="false">)</mo> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>z</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>,</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X;Y|Z)=\mathbb {E} _{Z}{\big (}I(X;Y)|Z{\big )}=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{Z}(z)p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}},}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/2e09b4c0f0e2bab626d92012afdf6fa0cfb2b0ec" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.338ex; width:85.057ex; height:7.343ex;" alt="{\displaystyle I(X;Y|Z)=\mathbb {E} _{Z}{\big (}I(X;Y)|Z{\big )}=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{Z}(z)p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}},}" /></span></dd></dl> <p>což lze zjednodušit na </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X;Y|Z)=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Z</mi> <mo stretchy="false">)</mo> <mo>=</mo> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>z</mi> <mo>∈</mo> <mi>Z</mi> </mrow> </munder> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>y</mi> <mo>∈</mo> <mi>Y</mi> </mrow> </munder> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>x</mi> <mo>∈</mo> <mi>X</mi> </mrow> </munder> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>,</mo> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>z</mi> <mo stretchy="false">)</mo> <mi>log</mi> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>z</mi> <mo stretchy="false">)</mo> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>,</mo> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>z</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mo>,</mo> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>z</mi> <mo stretchy="false">)</mo> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>Y</mi> <mo>,</mo> <mi>Z</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>y</mi> <mo>,</mo> <mi>z</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X;Y|Z)=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/6f66c0efb32521bdaf79f90a0d3cf3733af4d0ed" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.338ex; width:62.436ex; height:7.176ex;" alt="{\displaystyle I(X;Y|Z)=\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}" /></span></dd></dl> <p>Podmínění třetí náhodnou proměnnou může vzájemnou informaci zvýšit i snížit, ale vždy platí, že </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X;Y|Z)\geq 0}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Z</mi> <mo stretchy="false">)</mo> <mo>≥</mo> <mn>0</mn> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X;Y|Z)\geq 0}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/ef9100c5f7c64445ef735d4e7ada6872550bc92b" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:14.356ex; height:2.843ex;" alt="{\displaystyle I(X;Y|Z)\geq 0}" /></span></dd></dl> <p>pro diskrétní, sdruženě distribuované náhodné proměnné <i>X</i>, <i>Y</i>, <i>Z</i>. Tento výsledek slouží jako základní stavební blok pro důkaz dalších <a href="/w/index.php?title=Nerovnosti_v_teorii_informace&action=edit&redlink=1" class="new" title="Nerovnosti v teorii informace (stránka neexistuje)">nerovností v teorii informace</a>. </p> <div class="mw-heading mw-heading3"><h3 id="Vícerozměrná_vzájemná_informace"><span id="V.C3.ADcerozm.C4.9Brn.C3.A1_vz.C3.A1jemn.C3.A1_informace"></span>Vícerozměrná vzájemná informace</h3><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=6" title="Editace sekce: Vícerozměrná vzájemná informace" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=6" title="Editovat zdrojový kód sekce Vícerozměrná vzájemná informace"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Bylo navrženo několik zobecnění vzájemné informace na více než dvě náhodné proměnné, jako například <a href="/w/index.php?title=Celkov%C3%A1_korelace&action=edit&redlink=1" class="new" title="Celková korelace (stránka neexistuje)">celková korelace</a> a <a href="/w/index.php?title=Interakce_informace&action=edit&redlink=1" class="new" title="Interakce informace (stránka neexistuje)">interakce informace</a>. Jestliže na Shannonovu entropii pohlížíme jako na <a href="/w/index.php?title=Znam%C3%A9nkov%C3%A1_m%C3%ADra&action=edit&redlink=1" class="new" title="Znaménková míra (stránka neexistuje)">znaménkovou míru</a> v kontextu <a href="/w/index.php?title=Informa%C4%8Dn%C3%AD_diagram&action=edit&redlink=1" class="new" title="Informační diagram (stránka neexistuje)">informačních diagramů</a>, jak je vysvětleno v článku <i><a href="/w/index.php?title=Teorie_informace_a_teorie_m%C3%ADry&action=edit&redlink=1" class="new" title="Teorie informace a teorie míry (stránka neexistuje)">Teorie informace a teorie míry</a></i>, pak jediná definice vícerozměrné vzájemné informace, které dává smysl, je tato: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X_{1};X_{1})=H(X_{1})}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>1</mn> </mrow> </msub> <mo>;</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>1</mn> </mrow> </msub> <mo stretchy="false">)</mo> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>1</mn> </mrow> </msub> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X_{1};X_{1})=H(X_{1})}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/00408deacc6b0113c6928a9795c2f9b4b840b454" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:19.922ex; height:2.843ex;" alt="{\displaystyle I(X_{1};X_{1})=H(X_{1})}" /></span></dd></dl> <p>a pro <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n>1,}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>n</mi> <mo>></mo> <mn>1</mn> <mo>,</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle n>1,}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/957e317312fd02f34c1d1c8c80bd8484c29fde6c" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:6.302ex; height:2.509ex;" alt="{\displaystyle n>1,}" /></span> </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X_{1};\,...\,;X_{n})=I(X_{1};\,...\,;X_{n-1})-I(X_{1};\,...\,;X_{n-1}|X_{n}),}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>1</mn> </mrow> </msub> <mo>;</mo> <mspace width="thinmathspace"></mspace> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mspace width="thinmathspace"></mspace> <mo>;</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> </mrow> </msub> <mo stretchy="false">)</mo> <mo>=</mo> <mi>I</mi> <mo stretchy="false">(</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>1</mn> </mrow> </msub> <mo>;</mo> <mspace width="thinmathspace"></mspace> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mspace width="thinmathspace"></mspace> <mo>;</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> <mo>−</mo> <mn>1</mn> </mrow> </msub> <mo stretchy="false">)</mo> <mo>−</mo> <mi>I</mi> <mo stretchy="false">(</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>1</mn> </mrow> </msub> <mo>;</mo> <mspace width="thinmathspace"></mspace> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mspace width="thinmathspace"></mspace> <mo>;</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> <mo>−</mo> <mn>1</mn> </mrow> </msub> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> </mrow> </msub> <mo stretchy="false">)</mo> <mo>,</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X_{1};\,...\,;X_{n})=I(X_{1};\,...\,;X_{n-1})-I(X_{1};\,...\,;X_{n-1}|X_{n}),}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/324a44d075d2519e9276c38976edc986213a4299" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:59.715ex; height:2.843ex;" alt="{\displaystyle I(X_{1};\,...\,;X_{n})=I(X_{1};\,...\,;X_{n-1})-I(X_{1};\,...\,;X_{n-1}|X_{n}),}" /></span></dd></dl> <p>kde (jak je uvedeno výše) definujeme </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\big (}I(X_{1};\,...\,;X_{n-1})|X_{n}{\big )}.}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>1</mn> </mrow> </msub> <mo>;</mo> <mspace width="thinmathspace"></mspace> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mspace width="thinmathspace"></mspace> <mo>;</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> <mo>−</mo> <mn>1</mn> </mrow> </msub> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> </mrow> </msub> <mo stretchy="false">)</mo> <mo>=</mo> <msub> <mrow class="MJX-TeXAtom-ORD"> <mi mathvariant="double-struck">E</mi> </mrow> <mrow class="MJX-TeXAtom-ORD"> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> </mrow> </msub> </mrow> </msub> <mrow class="MJX-TeXAtom-ORD"> <mrow class="MJX-TeXAtom-ORD"> <mo maxsize="1.2em" minsize="1.2em">(</mo> </mrow> </mrow> <mi>I</mi> <mo stretchy="false">(</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mn>1</mn> </mrow> </msub> <mo>;</mo> <mspace width="thinmathspace"></mspace> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mspace width="thinmathspace"></mspace> <mo>;</mo> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> <mo>−</mo> <mn>1</mn> </mrow> </msub> <mo stretchy="false">)</mo> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <msub> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>n</mi> </mrow> </msub> <mrow class="MJX-TeXAtom-ORD"> <mrow class="MJX-TeXAtom-ORD"> <mo maxsize="1.2em" minsize="1.2em">)</mo> </mrow> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\big (}I(X_{1};\,...\,;X_{n-1})|X_{n}{\big )}.}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/70547ef37ee078218dc80dd6c06c90c7d1e50f8f" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:51.856ex; height:3.176ex;" alt="{\displaystyle I(X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\big (}I(X_{1};\,...\,;X_{n-1})|X_{n}{\big )}.}" /></span></dd></dl> <p>Tato definice vícerozměrné vzájemné informace je identická (až na znaménko, když je počet náhodných proměnných lichý) s definicí <a href="/w/index.php?title=Interak%C4%8Dn%C3%AD_informace&action=edit&redlink=1" class="new" title="Interakční informace (stránka neexistuje)">interakční informace</a>. </p><p>Jestliže <i>A</i> a <i>B</i> jsou dvě množiny proměnných, pak vzájemná informace mezi nimi je: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(A,B)=H(A\cup B)+H(A\cap B)-H(A)-H(B),}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>A</mi> <mo>,</mo> <mi>B</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>A</mi> <mo>∪</mo> <mi>B</mi> <mo stretchy="false">)</mo> <mo>+</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>A</mi> <mo>∩</mo> <mi>B</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>A</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>B</mi> <mo stretchy="false">)</mo> <mo>,</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(A,B)=H(A\cup B)+H(A\cap B)-H(A)-H(B),}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/436629ddb0c9b3ff1d3fc60b15482ae9696f993c" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:50.967ex; height:2.843ex;" alt="{\displaystyle I(A,B)=H(A\cup B)+H(A\cap B)-H(A)-H(B),}" /></span></dd></dl> <div class="mw-heading mw-heading4"><h4 id="Aplikace">Aplikace</h4><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=7" title="Editace sekce: Aplikace" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=7" title="Editovat zdrojový kód sekce Aplikace"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Slepé použití informačních diagramů k odvození výše uvedené definice bylo kritizováno a opravdu se ukázalo, že jeho použití je dosti omezené, protože je obtížné vizualizovat nebo pochopit význam této veličiny pro větší počet náhodných proměnných, protože pro <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n\geq 3}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>n</mi> <mo>≥</mo> <mn>3</mn> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle n\geq 3}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/73136e4a27fe39c123d16a7808e76d3162ce42bb" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.505ex; width:5.656ex; height:2.343ex;" alt="{\displaystyle n\geq 3}" /></span> může mít nulovou, kladnou i zápornou hodnotu. </p><p>Mnoharozměrné zobecnění, které maximalizuje vzájemnou informaci mezi sdruženým rozdělením a ostatními cílovými proměnnými se však s úspěchem používá pro <a href="/wiki/V%C3%BDb%C4%9Br_rys%C5%AF" title="Výběr rysů">výběr rysů</a><sup id="cite_ref-2" class="reference"><a href="#cite_note-2"><span class="cite-bracket">[</span>2<span class="cite-bracket">]</span></a></sup>. </p><p>Vzájemná informace se používá i v oblasti zpracování signálu jako míra podobnosti dvou signálů. Například FMI metrika<sup id="cite_ref-3" class="reference"><a href="#cite_note-3"><span class="cite-bracket">[</span>3<span class="cite-bracket">]</span></a></sup> je mírou výkonnosti slučování obrazů využívající vzájemnou informaci pro měření množství informace o výchozích obrazech, kterou obsahuje sloučený obraz. </p> <div class="mw-heading mw-heading3"><h3 id="Normalizované_varianty"><span id="Normalizovan.C3.A9_varianty"></span>Normalizované varianty</h3><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=8" title="Editace sekce: Normalizované varianty" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=8" title="Editovat zdrojový kód sekce Normalizované varianty"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Normalizované varianty vzájemné informace poskytují <i>omezující koeficienty</i><sup id="cite_ref-4" class="reference"><a href="#cite_note-4"><span class="cite-bracket">[</span>4<span class="cite-bracket">]</span></a></sup> nebo <a href="/w/index.php?title=Koeficient_nejistoty&action=edit&redlink=1" class="new" title="Koeficient nejistoty (stránka neexistuje)">koeficienty nejistoty</a><sup id="cite_ref-pressflannery_5-0" class="reference"><a href="#cite_note-pressflannery-5"><span class="cite-bracket">[</span>5<span class="cite-bracket">]</span></a></sup> </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle C_{XY}={\frac {I(X;Y)}{H(Y)}}~~{\mbox{ a }}~~C_{YX}={\frac {I(X;Y)}{H(X)}}.}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <msub> <mi>C</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mi>Y</mi> </mrow> </msub> <mo>=</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mtext> </mtext> <mtext> </mtext> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="false" scriptlevel="0"> <mtext> a </mtext> </mstyle> </mrow> <mtext> </mtext> <mtext> </mtext> <msub> <mi>C</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>Y</mi> <mi>X</mi> </mrow> </msub> <mo>=</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle C_{XY}={\frac {I(X;Y)}{H(Y)}}~~{\mbox{ a }}~~C_{YX}={\frac {I(X;Y)}{H(X)}}.}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/b657a3d422ec796c9325cdfbd5da485e3de1830c" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:37.795ex; height:6.509ex;" alt="{\displaystyle C_{XY}={\frac {I(X;Y)}{H(Y)}}~~{\mbox{ a }}~~C_{YX}={\frac {I(X;Y)}{H(X)}}.}" /></span></dd></dl> <p>Hodnoty obou koeficientů se mohou lišit. V některých případech může být požadována symetrická míra, jako například následující míra <i>redundance</i>: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle R={\frac {I(X;Y)}{H(X)+H(Y)}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>R</mi> <mo>=</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>+</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle R={\frac {I(X;Y)}{H(X)+H(Y)}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/9ac9aee7c898e1355d03901e591a9e0cfce43aa8" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:20.038ex; height:6.509ex;" alt="{\displaystyle R={\frac {I(X;Y)}{H(X)+H(Y)}}}" /></span></dd></dl> <p>který nabývá nejmenší hodnoty nula, když jsou proměnné nezávislé, a maximální hodnoty </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle R_{\max }={\frac {\min(H(X),H(Y))}{H(X)+H(Y)}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <msub> <mi>R</mi> <mrow class="MJX-TeXAtom-ORD"> <mo movablelimits="true" form="prefix">max</mo> </mrow> </msub> <mo>=</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mo movablelimits="true" form="prefix">min</mo> <mo stretchy="false">(</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>,</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>+</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle R_{\max }={\frac {\min(H(X),H(Y))}{H(X)+H(Y)}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/2ab645b3bb27ec5c7fe343068a5e098331b6ea31" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:27.207ex; height:6.509ex;" alt="{\displaystyle R_{\max }={\frac {\min(H(X),H(Y))}{H(X)+H(Y)}}}" /></span></dd></dl> <p>když je jedna proměnná při znalosti jiné zcela nadbytečná. Viz článek <i><a href="/wiki/Redundance" title="Redundance">Redundance</a></i>. Další symetrická míra je <i>symetrická nejistota</i> (Witten & Frank 2005), daná </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle U(X,Y)=2R=2{\frac {I(X;Y)}{H(X)+H(Y)}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>U</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mn>2</mn> <mi>R</mi> <mo>=</mo> <mn>2</mn> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>+</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle U(X,Y)=2R=2{\frac {I(X;Y)}{H(X)+H(Y)}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/76011414e90b53f7cee5905b5c6861840dc64c87" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:33.841ex; height:6.509ex;" alt="{\displaystyle U(X,Y)=2R=2{\frac {I(X;Y)}{H(X)+H(Y)}}}" /></span></dd></dl> <p>která reprezentuje vážený průměr dvou koeficientů nejistoty<sup id="cite_ref-pressflannery_5-1" class="reference"><a href="#cite_note-pressflannery-5"><span class="cite-bracket">[</span>5<span class="cite-bracket">]</span></a></sup> </p><p>Jestliže uvažujeme vzájemnou informaci jako speciální případ <a href="/w/index.php?title=Celkov%C3%A1_korelace&action=edit&redlink=1" class="new" title="Celková korelace (stránka neexistuje)">celkové korelace</a> nebo <a href="/w/index.php?title=Du%C3%A1ln%C3%AD_celkov%C3%A1_korelace&action=edit&redlink=1" class="new" title="Duální celková korelace (stránka neexistuje)">duální celkové korelace</a>, pak normalizované verze jsou postupně </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mo movablelimits="true" form="prefix">min</mo> <mrow> <mo>[</mo> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>,</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mo>]</mo> </mrow> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle {\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/6dc2dacbfd5c48f0b8c4d952b8b19a2c2b1be0ba" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:18.925ex; height:6.509ex;" alt="{\displaystyle {\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}}}" /></span> a <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\frac {I(X;Y)}{H(X,Y)}}\;.}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mspace width="thickmathspace"></mspace> <mo>.</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle {\frac {I(X;Y)}{H(X,Y)}}\;.}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/da0f484ac309830733c6c72463704d2077418924" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:10.788ex; height:6.509ex;" alt="{\displaystyle {\frac {I(X;Y)}{H(X,Y)}}\;.}" /></span></dd></dl> <p>Jiné normalizované verze jsou definované následujícími výrazy<sup id="cite_ref-6" class="reference"><a href="#cite_note-6"><span class="cite-bracket">[</span>6<span class="cite-bracket">]</span></a></sup><sup id="cite_ref-7" class="reference"><a href="#cite_note-7"><span class="cite-bracket">[</span>7<span class="cite-bracket">]</span></a></sup>. </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}},~~~~~~~{\frac {I(X;Y)}{H(X,Y)}},~~~~~~~{\frac {I(X;Y)}{\sqrt {H(X)H(Y)}}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mo movablelimits="true" form="prefix">min</mo> <mrow> <mo>[</mo> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>,</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mo>]</mo> </mrow> </mrow> </mfrac> </mrow> <mo>,</mo> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>,</mo> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mtext> </mtext> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <msqrt> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </msqrt> </mfrac> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle {\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}},~~~~~~~{\frac {I(X;Y)}{H(X,Y)}},~~~~~~~{\frac {I(X;Y)}{\sqrt {H(X)H(Y)}}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/cf2b47bf26a9430bdb0f2f1512dac28460b05147" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.171ex; width:53.277ex; height:7.009ex;" alt="{\displaystyle {\frac {I(X;Y)}{\min \left[H(X),H(Y)\right]}},~~~~~~~{\frac {I(X;Y)}{H(X,Y)}},~~~~~~~{\frac {I(X;Y)}{\sqrt {H(X)H(Y)}}}}" /></span></dd></dl> <p>Hodnota </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle D^{\prime }(X,Y)=1-{\frac {I(X;Y)}{\max(H(X),H(Y))}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <msup> <mi>D</mi> <mrow class="MJX-TeXAtom-ORD"> <mi class="MJX-variant" mathvariant="normal">′</mi> </mrow> </msup> <mo stretchy="false">(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mn>1</mn> <mo>−</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mo movablelimits="true" form="prefix">max</mo> <mo stretchy="false">(</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>,</mo> <mi>H</mi> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle D^{\prime }(X,Y)=1-{\frac {I(X;Y)}{\max(H(X),H(Y))}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/b9758f4967fe03d77b8dbf39a2ef5af2d430dffd" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:35.811ex; height:6.509ex;" alt="{\displaystyle D^{\prime }(X,Y)=1-{\frac {I(X;Y)}{\max(H(X),H(Y))}}}" /></span></dd></dl> <p>je <a href="/wiki/Metrika_(matematika)" class="mw-redirect" title="Metrika (matematika)">metrika</a>, <i>tj.</i> vyhovuje trojúhelníkové nerovnosti, a dalším podmínkám pro metriku. </p> <div class="mw-heading mw-heading3"><h3 id="Vážené_varianty"><span id="V.C3.A1.C5.BEen.C3.A9_varianty"></span>Vážené varianty</h3><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=9" title="Editace sekce: Vážené varianty" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=9" title="Editovat zdrojový kód sekce Vážené varianty"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>V tradiční formulaci vzájemné informace </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>y</mi> <mo>∈</mo> <mi>Y</mi> </mrow> </munder> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>x</mi> <mo>∈</mo> <mi>X</mi> </mrow> </munder> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> <mi>log</mi> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> <mspace width="thinmathspace"></mspace> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>,</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/ba4fc3bc74ebebe70e957b7b87b3d32cf6b032ae" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.338ex; width:38.989ex; height:7.176ex;" alt="{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}" /></span></dd></dl> <p>je každá <i>událost</i> nebo <i>objekt</i> daný <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle (x,y)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle (x,y)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/41cf50e4a314ca8e2c30964baa8d26e5be7a9386" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:5.328ex; height:2.843ex;" alt="{\displaystyle (x,y)}" /></span> vážený příslušnou pravděpodobností <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p(x,y)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle p(x,y)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/089e91a1824e14cebc8e8d04dc652c61b3008e0a" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; margin-left: -0.089ex; width:6.587ex; height:2.843ex;" alt="{\displaystyle p(x,y)}" /></span>. To znamená, že všechny objekty nebo události jsou (až na pravděpodobnost jejich výskytu) ekvivalentní. Některé aplikace však vyžadují, aby určité objekty nebo události byly <i>významnější</i> než jiné, nebo aby určité vzorky asociací byly sémanticky důležitější než jiné. </p><p>Například deterministické zobrazení <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \{(1,1),(2,2),(3,3)\}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mo fence="false" stretchy="false">{</mo> <mo stretchy="false">(</mo> <mn>1</mn> <mo>,</mo> <mn>1</mn> <mo stretchy="false">)</mo> <mo>,</mo> <mo stretchy="false">(</mo> <mn>2</mn> <mo>,</mo> <mn>2</mn> <mo stretchy="false">)</mo> <mo>,</mo> <mo stretchy="false">(</mo> <mn>3</mn> <mo>,</mo> <mn>3</mn> <mo stretchy="false">)</mo> <mo fence="false" stretchy="false">}</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle \{(1,1),(2,2),(3,3)\}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/8b13cd0103f9e43410e877754765a7ad994fe3cc" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:19.897ex; height:2.843ex;" alt="{\displaystyle \{(1,1),(2,2),(3,3)\}}" /></span> můžeme považovat za silnější než deterministické zobrazení <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \{(1,3),(2,1),(3,2)\}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mo fence="false" stretchy="false">{</mo> <mo stretchy="false">(</mo> <mn>1</mn> <mo>,</mo> <mn>3</mn> <mo stretchy="false">)</mo> <mo>,</mo> <mo stretchy="false">(</mo> <mn>2</mn> <mo>,</mo> <mn>1</mn> <mo stretchy="false">)</mo> <mo>,</mo> <mo stretchy="false">(</mo> <mn>3</mn> <mo>,</mo> <mn>2</mn> <mo stretchy="false">)</mo> <mo fence="false" stretchy="false">}</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle \{(1,3),(2,1),(3,2)\}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/121771fac14b709e1be2dc4d9c3e4a04a0dd9715" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:19.897ex; height:2.843ex;" alt="{\displaystyle \{(1,3),(2,1),(3,2)\}}" /></span>, přestože tyto vztahy dávají stejnou vzájemnou informaci. Důvodem je, že vzájemná informace není citlivá na žádné inherentní uspořádání hodnot proměnných (Cronbach 1954, Coombs & Dawes 1970, Lockhead 1970), a proto vůbec není citlivá na <b>formu</b> relačního zobrazení mezi příslušnými proměnnými. Pokud požadujeme, aby první relace, která ukazuje shodu na všech hodnotách proměnné, byla považována za silnější než druhá relace, pak je možné použít <i>váženou vzájemnou informaci</i> (Guiasu 1977) definovanou takto: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>I</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>y</mi> <mo>∈</mo> <mi>Y</mi> </mrow> </munder> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>x</mi> <mo>∈</mo> <mi>X</mi> </mrow> </munder> <mi>w</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> <mi>log</mi> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo stretchy="false">)</mo> <mspace width="thinmathspace"></mspace> <mi>p</mi> <mo stretchy="false">(</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> <mo>,</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/8d878c6622420225b626259fa56c9e4427c1af1a" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.338ex; width:45.981ex; height:7.176ex;" alt="{\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}" /></span></dd></dl> <p>Takto definovaná vážená vzájemná informace přiřazuje každé pravděpodobnosti souvýskytu hodnot proměnných <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p(x,y)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>p</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle p(x,y)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/089e91a1824e14cebc8e8d04dc652c61b3008e0a" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; margin-left: -0.089ex; width:6.587ex; height:2.843ex;" alt="{\displaystyle p(x,y)}" /></span> váhu <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle w(x,y)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>w</mi> <mo stretchy="false">(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle w(x,y)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/2c832b255202f489718326a29d60b7c2be485b15" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:6.993ex; height:2.843ex;" alt="{\displaystyle w(x,y)}" /></span>. To umožňuje, aby určité pravděpodobnosti mohly mít větší nebo menší význam než jiné, což dovoluje kvantifikaci relevantních <i>holistických</i> faktorů. Ve výše uvedeném příkladě použití větších relativních vah pro <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle w(1,1)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>w</mi> <mo stretchy="false">(</mo> <mn>1</mn> <mo>,</mo> <mn>1</mn> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle w(1,1)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/e01c54cc04db0d799c7e7f2407adcee0d6e5b6e4" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:6.832ex; height:2.843ex;" alt="{\displaystyle w(1,1)}" /></span>, <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle w(2,2)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>w</mi> <mo stretchy="false">(</mo> <mn>2</mn> <mo>,</mo> <mn>2</mn> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle w(2,2)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/7c748432c52030777e6e130bcf2caa62d3efcab3" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:6.832ex; height:2.843ex;" alt="{\displaystyle w(2,2)}" /></span> a <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle w(3,3)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>w</mi> <mo stretchy="false">(</mo> <mn>3</mn> <mo>,</mo> <mn>3</mn> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle w(3,3)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/80b9ac172050e00d5cd80e25baceb427b05413d7" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:6.832ex; height:2.843ex;" alt="{\displaystyle w(3,3)}" /></span> přináší efekt přiřazení větší <i>důležitosti</i> relaci <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \{(1,1),(2,2),(3,3)\}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mo fence="false" stretchy="false">{</mo> <mo stretchy="false">(</mo> <mn>1</mn> <mo>,</mo> <mn>1</mn> <mo stretchy="false">)</mo> <mo>,</mo> <mo stretchy="false">(</mo> <mn>2</mn> <mo>,</mo> <mn>2</mn> <mo stretchy="false">)</mo> <mo>,</mo> <mo stretchy="false">(</mo> <mn>3</mn> <mo>,</mo> <mn>3</mn> <mo stretchy="false">)</mo> <mo fence="false" stretchy="false">}</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle \{(1,1),(2,2),(3,3)\}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/8b13cd0103f9e43410e877754765a7ad994fe3cc" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:19.897ex; height:2.843ex;" alt="{\displaystyle \{(1,1),(2,2),(3,3)\}}" /></span> než relaci <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \{(1,3),(2,1),(3,2)\}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mo fence="false" stretchy="false">{</mo> <mo stretchy="false">(</mo> <mn>1</mn> <mo>,</mo> <mn>3</mn> <mo stretchy="false">)</mo> <mo>,</mo> <mo stretchy="false">(</mo> <mn>2</mn> <mo>,</mo> <mn>1</mn> <mo stretchy="false">)</mo> <mo>,</mo> <mo stretchy="false">(</mo> <mn>3</mn> <mo>,</mo> <mn>2</mn> <mo stretchy="false">)</mo> <mo fence="false" stretchy="false">}</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle \{(1,3),(2,1),(3,2)\}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/121771fac14b709e1be2dc4d9c3e4a04a0dd9715" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:19.897ex; height:2.843ex;" alt="{\displaystyle \{(1,3),(2,1),(3,2)\}}" /></span>, což může být žádoucí v určitých případech rozpoznávání vzorků, apod. Ale vážené vzájemné informaci a jejím vlastnostem nebylo věnováno mnoho matematické práce. </p> <div class="mw-heading mw-heading3"><h3 id="Upravená_vzájemná_informace"><span id="Upraven.C3.A1_vz.C3.A1jemn.C3.A1_informace"></span>Upravená vzájemná informace</h3><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=10" title="Editace sekce: Upravená vzájemná informace" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=10" title="Editovat zdrojový kód sekce Upravená vzájemná informace"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Na rozdělení pravděpodobnosti lze pohlížet jako na <a href="/w/index.php?title=Rozd%C4%9Blen%C3%AD_mno%C5%BEiny_na_t%C5%99%C3%ADdy_ekvivalence&action=edit&redlink=1" class="new" title="Rozdělení množiny na třídy ekvivalence (stránka neexistuje)">rozdělení množiny na třídy ekvivalence</a>. Můžeme se pak ptát:, jestliže určitá množina byla rozdělena náhodně, jaké by bylo rozdělení pravděpodobnosti? Jaká by byla očekávaná hodnota vzájemné informace? Upravená vzájemná informace (<a href="/wiki/Angli%C4%8Dtina" title="Angličtina">anglicky</a> <span class="cizojazycne" lang="en" title="angličtina"><i>adjusted mutual information</i>, <i>AMI</i></span>) odečítá očekávanou hodnotu MI, takže AMI je rovna nule, pokud dvě různé distribuce jsou náhodné, a je rovna jedné, pokud dvě distribuce jsou identické. AMI se definuje podobně jako <a href="/w/index.php?title=Upraven%C3%BD_Rand_index&action=edit&redlink=1" class="new" title="Upravený Rand index (stránka neexistuje)">upravený Rand index</a> dvou různých rozdělení množiny. </p> <div class="mw-heading mw-heading3"><h3 id="Absolutní_vzájemná_informace"><span id="Absolutn.C3.AD_vz.C3.A1jemn.C3.A1_informace"></span>Absolutní vzájemná informace</h3><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=11" title="Editace sekce: Absolutní vzájemná informace" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=11" title="Editovat zdrojový kód sekce Absolutní vzájemná informace"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Při použití myšlenek <a href="/w/index.php?title=Kolmogorovova_slo%C5%BEitost&action=edit&redlink=1" class="new" title="Kolmogorovova složitost (stránka neexistuje)">Kolmogorovovy složitosti</a> můžeme považovat vzájemnou informace dvou posloupností nezávislou na libovolném rozdělení pravděpodobnosti: </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I_{K}(X;Y)=K(X)-K(X|Y).}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <msub> <mi>I</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>K</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mi>K</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> <mo>−</mo> <mi>K</mi> <mo stretchy="false">(</mo> <mi>X</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>.</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I_{K}(X;Y)=K(X)-K(X|Y).}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/b9e51aa116a8d55d2bdbeced6a8956c20a7dbdc4" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:30.029ex; height:2.843ex;" alt="{\displaystyle I_{K}(X;Y)=K(X)-K(X|Y).}" /></span></dd></dl> <p>Aby se ukázalo, že tato veličina je až na logaritmický člen symetrická (<span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle I_{K}(X;Y)\approx I_{K}(Y;X)}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <msub> <mi>I</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>K</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>X</mi> <mo>;</mo> <mi>Y</mi> <mo stretchy="false">)</mo> <mo>≈</mo> <msub> <mi>I</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>K</mi> </mrow> </msub> <mo stretchy="false">(</mo> <mi>Y</mi> <mo>;</mo> <mi>X</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle I_{K}(X;Y)\approx I_{K}(Y;X)}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/6615950d65439cb8bdd1f020a66af2ac348c7c4e" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:21.724ex; height:2.843ex;" alt="{\displaystyle I_{K}(X;Y)\approx I_{K}(Y;X)}" /></span>), je nutné <a href="/w/index.php?title=%C5%98et%C4%9Bzov%C3%A9_pravidlo_pro_Kolmogorovovy_slo%C5%BEitosti&action=edit&redlink=1" class="new" title="Řetězové pravidlo pro Kolmogorovovy složitosti (stránka neexistuje)">řetězové pravidlo pro Kolmogorovovy složitosti</a>. Aproximace této veličiny pomocí <a href="/wiki/Komprese_dat" title="Komprese dat">komprese</a> může být použita pro definování <a href="/wiki/Metrika" class="mw-disambig" title="Metrika">metriky</a> pro provedení <a href="/w/index.php?title=Hierarchick%C3%BD_clustering&action=edit&redlink=1" class="new" title="Hierarchický clustering (stránka neexistuje)">hierarchického clusteringu</a> posloupnosti bez <a href="/w/index.php?title=Dom%C3%A9nov%C3%A1_znalost&action=edit&redlink=1" class="new" title="Doménová znalost (stránka neexistuje)">doménové znalosti</a> posloupnosti. </p> <div class="mw-heading mw-heading3"><h3 id="Vzájemná_informace_pro_diskrétní_data"><span id="Vz.C3.A1jemn.C3.A1_informace_pro_diskr.C3.A9tn.C3.AD_data"></span>Vzájemná informace pro diskrétní data</h3><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=12" title="Editace sekce: Vzájemná informace pro diskrétní data" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=12" title="Editovat zdrojový kód sekce Vzájemná informace pro diskrétní data"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p>Pokud množina možných hodnot náhodných proměnných <i>X</i> a <i>Y</i> je diskrétní, pozorovaná data lze sumarizovat v <a href="/wiki/Kontingen%C4%8Dn%C3%AD_tabulka" title="Kontingenční tabulka">kontingenční tabulce</a>, s řádkovou proměnnou <i>X</i> (nebo i) a sloupcovou proměnnou <i>Y</i> (nebo j). Vzájemná informace je jednou z měr <a href="/w/index.php?title=Asociace_(statistika)&action=edit&redlink=1" class="new" title="Asociace (statistika) (stránka neexistuje)">asociace</a> nebo <a href="/wiki/Korelace" title="Korelace">korelace</a> mezi řádkovými a sloupcovými proměnnými. Jiné míry asociace zahrnují statistiku <a href="/wiki/Test_dobr%C3%A9_shody" title="Test dobré shody">testu dobré shody</a> (Pearsonova chí-kvadrát testu), statistiku <a href="/w/index.php?title=G-test&action=edit&redlink=1" class="new" title="G-test (stránka neexistuje)">G-testu</a>, apod. Vzájemná informace se totiž rovná statistice <a href="/w/index.php?title=G-test&action=edit&redlink=1" class="new" title="G-test (stránka neexistuje)">G-testu</a> vydělené 2N, kde N je velikost vzorku. </p><p>Ve speciálním případě, když počet stavů pro řádkové i sloupcové proměnné je 2 (i,j=1,2), pak počet <a href="/w/index.php?title=Stupe%C5%88_volnosti_(statistika)&action=edit&redlink=1" class="new" title="Stupeň volnosti (statistika) (stránka neexistuje)">stupňů volnosti</a> <a href="/wiki/Test_dobr%C3%A9_shody" title="Test dobré shody">Pearsonova chí-kvadrát testu</a> je 1. Ze čtyř termů v sumě </p> <dl><dd><span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \sum _{i,j}p_{ij}\log {\frac {p_{ij}}{p_{i}p_{j}}}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <munder> <mo>∑</mo> <mrow class="MJX-TeXAtom-ORD"> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </munder> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mi>log</mi> <mo>⁡</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>i</mi> </mrow> </msub> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle \sum _{i,j}p_{ij}\log {\frac {p_{ij}}{p_{i}p_{j}}}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/fa9c9d97139aaf18a1380f74daa33e098c16253e" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.338ex; width:15.019ex; height:6.509ex;" alt="{\displaystyle \sum _{i,j}p_{ij}\log {\frac {p_{ij}}{p_{i}p_{j}}}}" /></span></dd></dl> <p>je pouze jeden nezávislý. To je důvod, aby vzájemná informace funkce měla přesný vztah s <a href="/w/index.php?title=Korela%C4%8Dn%C3%AD_funkce&action=edit&redlink=1" class="new" title="Korelační funkce (stránka neexistuje)">korelační funkcí</a> <span class="mwe-math-element"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle p_{X=1,Y=1}-p_{X=1}p_{Y=1}}"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>Y</mi> <mo>=</mo> <mn>1</mn> </mrow> </msub> <mo>−</mo> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>X</mi> <mo>=</mo> <mn>1</mn> </mrow> </msub> <msub> <mi>p</mi> <mrow class="MJX-TeXAtom-ORD"> <mi>Y</mi> <mo>=</mo> <mn>1</mn> </mrow> </msub> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle p_{X=1,Y=1}-p_{X=1}p_{Y=1}}</annotation> </semantics> </math></span><img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/ec1d9cb02b0509bab4f3de05371c8fcf115d1966" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; margin-left: -0.089ex; width:21.302ex; height:2.676ex;" alt="{\displaystyle p_{X=1,Y=1}-p_{X=1}p_{Y=1}}" /></span> pro <a href="/wiki/Dvojkov%C3%A1_soustava" title="Dvojková soustava">binární</a> posloupnosti<sup id="cite_ref-8" class="reference"><a href="#cite_note-8"><span class="cite-bracket">[</span>8<span class="cite-bracket">]</span></a></sup>. </p> <div class="mw-heading mw-heading2"><h2 id="Aplikace_vzájemné_informace"><span id="Aplikace_vz.C3.A1jemn.C3.A9_informace"></span>Aplikace vzájemné informace</h2><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=13" title="Editace sekce: Aplikace vzájemné informace" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=13" title="Editovat zdrojový kód sekce Aplikace vzájemné informace"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <div class="noprint ambox labelced labelced-page labelced-page-type-content ambox-content plainlinks"> <div class="labelced_message"><div class="labelced_image ambox-image mbox-image"><span typeof="mw:File"><span><img alt="ikona" src="//upload.wikimedia.org/wikipedia/commons/thumb/2/2c/Broom_icon.svg/48px-Broom_icon.svg.png" decoding="async" width="48" height="48" class="mw-file-element" srcset="//upload.wikimedia.org/wikipedia/commons/thumb/2/2c/Broom_icon.svg/72px-Broom_icon.svg.png 1.5x, //upload.wikimedia.org/wikipedia/commons/thumb/2/2c/Broom_icon.svg/96px-Broom_icon.svg.png 2x" data-file-width="400" data-file-height="400" /></span></span></div> <div class="labelced_message_inner"> <div class="labelced_message_headline ambox-text">Tato část článku potřebuje úpravy.</div> <div class="labelced_message_text hide-when-compact ambox-text">Můžete Wikipedii pomoci tím, že ji <span class="plainlinks"><a class="external text" href="https://cs.wikipedia.org/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit">vylepšíte</a></span>. Jak by měly články vypadat, popisují stránky <a href="/wiki/Wikipedie:Vzhled_a_styl" title="Wikipedie:Vzhled a styl">Vzhled a styl</a>, <a href="/wiki/Wikipedie:Encyklopedick%C3%BD_styl" title="Wikipedie:Encyklopedický styl">Encyklopedický styl</a> a <a href="/wiki/Wikipedie:Pr%C5%AFvodce_(odkazy)" title="Wikipedie:Průvodce (odkazy)">Odkazy</a>.</div> </div> </div><hr /> <div class="labelced_note hide-when-compact"> <div class="labelced_image"><span typeof="mw:File"><span><img alt="" src="//upload.wikimedia.org/wikipedia/commons/thumb/1/11/Preferences-system.svg/16px-Preferences-system.svg.png" decoding="async" width="16" height="16" class="mw-file-element" srcset="//upload.wikimedia.org/wikipedia/commons/thumb/1/11/Preferences-system.svg/24px-Preferences-system.svg.png 1.5x, //upload.wikimedia.org/wikipedia/commons/thumb/1/11/Preferences-system.svg/32px-Preferences-system.svg.png 2x" data-file-width="48" data-file-height="48" /></span></span></div> <div class="labelced_note_text ambox-text">Konkrétní problémy: <i><span title="zvýrazněno" style="background-color: #FFEFD5;">a okolí</span></i></div> </div> </div> <p>V mnoha aplikacích chceme maximalizovat vzájemnou informaci (tedy rostoucí závislosti), což je často ekvivalentem minimalizace <a href="/wiki/Podm%C3%ADn%C4%9Bn%C3%A1_entropie" title="Podmíněná entropie">podmíněné entropie</a>. Příklady zahrnují: </p> <ul><li>V <a href="/w/index.php?title=Technologie_vyhled%C3%A1vac%C3%ADch_stroj%C5%AF&action=edit&redlink=1" class="new" title="Technologie vyhledávacích strojů (stránka neexistuje)">technologii vyhledávacích strojů</a> se vzájemná informace mezi frázemi a kontexty používá jako vlastnost pro k-mean clustering pro vytváření sémantických clusterů (konceptů)<sup id="cite_ref-magerman_9-0" class="reference"><a href="#cite_note-magerman-9"><span class="cite-bracket">[</span>9<span class="cite-bracket">]</span></a></sup>.</li> <li>V <a href="/wiki/Telekomunikace" title="Telekomunikace">telekomunikacích</a> se <a href="/w/index.php?title=Kapacita_kan%C3%A1lu&action=edit&redlink=1" class="new" title="Kapacita kanálu (stránka neexistuje)">kapacita kanálu</a> rovná vzájemné informaci maximalizované přes všechna vstupní rozdělení.</li> <li>Procedury <a href="/w/index.php?title=Diskriminativn%C3%AD_tr%C3%A9nov%C3%A1n%C3%AD&action=edit&redlink=1" class="new" title="Diskriminativní trénování (stránka neexistuje)">diskriminativního trénování</a> pro <a href="/wiki/Skryt%C3%BD_Markov%C5%AFv_model" title="Skrytý Markovův model">skryté Markovovy modely</a> byly navrženy pomocí kriteria <a href="/w/index.php?title=Maxim%C3%A1ln%C3%AD_vz%C3%A1jemn%C3%A1_informace&action=edit&redlink=1" class="new" title="Maximální vzájemná informace (stránka neexistuje)">maximální vzájemná informace</a> (MMI).</li> <li>Předpovídání <a href="/w/index.php?title=Sekund%C3%A1rn%C3%AD_struktura_nukleov%C3%BDch_kyselin&action=edit&redlink=1" class="new" title="Sekundární struktura nukleových kyselin (stránka neexistuje)">sekundární struktury RNA</a> používá <a href="/w/index.php?title=Zarovn%C3%A1v%C3%A1n%C3%AD_v%C3%ADce_posloupnost%C3%AD&action=edit&redlink=1" class="new" title="Zarovnávání více posloupností (stránka neexistuje)">zarovnávání více posloupností</a>.</li> <li>Predikce <a href="/w/index.php?title=Fylogenetick%C3%A9_profilov%C3%A1n%C3%AD&action=edit&redlink=1" class="new" title="Fylogenetické profilování (stránka neexistuje)">fylogenetického profilování</a> z vzájemné přítomnosti nebo dispřítomnosti funkcionálně propojených <a href="/wiki/Gen" title="Gen">genů</a>.</li> <li>Vzájemná informace se používá jako kritérium pro <a href="/wiki/V%C3%BDb%C4%9Br_rys%C5%AF" title="Výběr rysů">výběr</a> a transformaci příznaků při <a href="/wiki/Strojov%C3%A9_u%C4%8Den%C3%AD" title="Strojové učení">strojovém učení</a>. Může být používána pro charakterizaci jak relevance tak redundance proměnné, jako například u algoritmu <a href="/w/index.php?title=V%C3%BDb%C4%9Br_p%C5%99%C3%ADznak%C5%AF_s_minim%C3%A1ln%C3%AD_redundanc%C3%AD&action=edit&redlink=1" class="new" title="Výběr příznaků s minimální redundancí (stránka neexistuje)">výběr příznaků s minimální redundancí</a>.</li> <li>Vzájemná informace se používá při určování podobnosti dvou různých <a href="/wiki/Shlukov%C3%A1_anal%C3%BDza" title="Shluková analýza">shlukování.(klastrování)</a> <a href="/wiki/Shlukov%C3%A1_anal%C3%BDza" title="Shluková analýza">datových souborů</a>. Má určité výhody proti tradičnímu <a href="/w/index.php?title=Rand_index&action=edit&redlink=1" class="new" title="Rand index (stránka neexistuje)">Rand indexu</a>.</li> <li>Vzájemná informace slov se často používá jako funkce důležitosti pro hledání <a href="/wiki/Souslov%C3%AD" title="Sousloví">kolokací</a> v <a href="/wiki/Korpusov%C3%A1_lingvistika" title="Korpusová lingvistika">korpusové lingvistice</a>. Toto má přidanou složitost ??, které ne slovo-instance je instance dvou různých slov; rather, jeden počítá instance, kde se obě slova objeví bezprostředně za sebou nebo blízko sebe; to nepatrně komplikuje výpočet, protože očekávaná pravděpodobnost, že se jedno slovo objeví nejvýše N slov od druhého, roste s N.</li> <li>Vzájemná informace se používá v <a href="/w/index.php?title=L%C3%A9ka%C5%99sk%C3%BD_imaging&action=edit&redlink=1" class="new" title="Lékařský imaging (stránka neexistuje)">lékařským imaging</a> pro <a href="/w/index.php?title=Registrace_obrazu&action=edit&redlink=1" class="new" title="Registrace obrazu (stránka neexistuje)">registraci obrazu</a>. Je-li dán referenční obrázek (například sken moygu) a druhý obrázek, který se_chce_umístit do stejné <a href="/wiki/Soustava_sou%C5%99adnic" title="Soustava souřadnic">soustavy souřadnic</a> jako referenční obrázek, tento druhý obrázek se deformuje tak, aby se maximalizovala vzájemná informace mezi ním a referenčním obrázkem.</li> <li>Detekce <a href="/w/index.php?title=F%C3%A1zov%C3%A1_synchronizace&action=edit&redlink=1" class="new" title="Fázová synchronizace (stránka neexistuje)">fázové synchronizace</a> v analýze <a href="/wiki/%C4%8Casov%C3%A1_%C5%99ada" title="Časová řada">časových řad</a>.</li> <li>V metodě <a href="/w/index.php?title=Infomax&action=edit&redlink=1" class="new" title="Infomax (stránka neexistuje)">infomax</a> pro neuronové sítě a v dalších metodách strojového učení, včetně používání metody infomax v <a href="/w/index.php?title=Anal%C3%BDza_nez%C3%A1visl%C3%BDch_komponent&action=edit&redlink=1" class="new" title="Analýza nezávislých komponent (stránka neexistuje)">analýze nezávislých komponent</a>.</li> <li>Průměrná vzájemná informace v <a href="/w/index.php?title=Takensova_v%C4%9Bta&action=edit&redlink=1" class="new" title="Takensova věta (stránka neexistuje)">Takensově větě</a> se používá pro určování <i>embedding zpoždění</i> parametr.</li> <li>Vzájemná informace mezi <a href="/wiki/Gen" title="Gen">geny</a> v datech z <a href="/wiki/Microarray" class="mw-redirect" title="Microarray">microarray</a> se používá v algoritmu <a href="/w/index.php?title=ARACNE&action=edit&redlink=1" class="new" title="ARACNE (stránka neexistuje)">ARACNE</a> pro rekonstrukci <a href="/w/index.php?title=Genov%C3%A1_regula%C4%8Dn%C3%AD_s%C3%AD%C5%A5&action=edit&redlink=1" class="new" title="Genová regulační síť (stránka neexistuje)">genové (regulační) sítě</a>.</li> <li>Ve <a href="/wiki/Statistick%C3%A1_mechanika" class="mw-redirect" title="Statistická mechanika">statistické mechanice</a> lze <a href="/w/index.php?title=Loschmidt%C5%AFv_paradox&action=edit&redlink=1" class="new" title="Loschmidtův paradox (stránka neexistuje)">Loschmidtův paradox</a> vyjádřit pomocí vzájemné informace<sup id="cite_ref-everett56_10-0" class="reference"><a href="#cite_note-everett56-10"><span class="cite-bracket">[</span>10<span class="cite-bracket">]</span></a></sup><sup id="cite_ref-everett57_11-0" class="reference"><a href="#cite_note-everett57-11"><span class="cite-bracket">[</span>11<span class="cite-bracket">]</span></a></sup>. Loschmidt si všiml, že musí být nemožné odvodit fyzikální zákon, který není <a href="/w/index.php?title=T-symetrie&action=edit&redlink=1" class="new" title="T-symetrie (stránka neexistuje)">časově symetrický</a> (například <a href="/wiki/Druh%C3%BD_termodynamick%C3%BD_z%C3%A1kon" title="Druhý termodynamický zákon">druhý termodynamický zákon</a>) pouze z fyzikálních zákonů odpovídajících této symetrii. Ukázal, že <a href="/wiki/Ludwig_Boltzmann" title="Ludwig Boltzmann">Boltzmannova</a> <a href="/w/index.php?title=H-v%C4%9Bta&action=edit&redlink=1" class="new" title="H-věta (stránka neexistuje)">H-věta</a> vychází z předpokladu vzájemné nekorelovanosti rychlostí částic v plynu, což ruší symetrii času inherentní v H-větě. Lze ukázat, že jestliže systém je popsán hustotou pravděpodobnosti ve <a href="/wiki/F%C3%A1zov%C3%BD_prostor" title="Fázový prostor">fázovém prostoru</a>, pak z <a href="/wiki/Liouvilleova_v%C4%9Bta" class="mw-disambig" title="Liouvilleova věta">Liouvilleovy věty</a> vyplývá, že sdružená informace (sdružená entropie se znaménkem minus) určitého rozdělení zůstává konstantní v čase. Sdružená informace se rovná vzájemné informaci zvětšené o sumu všech marginálních informací (marginální entropie se znaménkem minus) pro každou souřadnici částice. Boltzmannův předpoklad množství na zanedbáváme vzájemná informace při výpočtu entropie, což dává termodynamickou entropii (dělenou Boltzmannovou konstantou).</li></ul> <ul><li>Vzájemná informace se používá při učení struktury <a href="/wiki/Bayesovsk%C3%A1_s%C3%AD%C5%A5" title="Bayesovská síť">bayesovských sítí</a> a <a href="/w/index.php?title=Dynamick%C3%A1_bayesovsk%C3%A1_s%C3%AD%C5%A5&action=edit&redlink=1" class="new" title="Dynamická bayesovská síť (stránka neexistuje)">dynamických bayesovských sítí</a>, kteréžto vysvětlují kauzální vztah mezi náhodnými proměnnými, jak dokládá GlobalMIT toolkit <a rel="nofollow" class="external autonumber" href="https://code.google.com/p/globalmit/">[2]</a>: učení globálně optimálních dynamických bayesovských sítí s vzájemně informačním testovacím kritériumem.</li> <li>Oblíbená účelová funkce v <a href="/w/index.php?title=U%C4%8Den%C3%AD_rozhodovac%C3%ADch_strom%C5%AF&action=edit&redlink=1" class="new" title="Učení rozhodovacích stromů (stránka neexistuje)">učení</a> <a href="/wiki/Rozhodovac%C3%AD_strom" title="Rozhodovací strom">rozhodovacích stromů</a>.</li></ul> <div class="mw-heading mw-heading2"><h2 id="Reference">Reference</h2><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=14" title="Editace sekce: Reference" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=14" title="Editovat zdrojový kód sekce Reference"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <p><span class="plainlinks"><i>V tomto článku byl použit <a href="/wiki/Wikipedie:WikiProjekt_P%C5%99eklad/Rady" title="Wikipedie:WikiProjekt Překlad/Rady">překlad</a> textu z článku <a class="external text" href="https://en.wikipedia.org/wiki/Mutual_information?oldid=592604213"><span class="cizojazycne" lang="en" title="angličtina">Mutual information</span></a> na anglické Wikipedii.</i></span> </p> <div class="mw-references-wrap mw-references-columns"><ol class="references"> <li id="cite_note-1"><span class="mw-cite-backlink"><a href="#cite_ref-1">↑</a></span> <span class="reference-text">Alexander Kraskov, Harald Stögbauer, Ralph G. Andrzejak and <a href="/w/index.php?title=Peter_Grassberger&action=edit&redlink=1" class="new" title="Peter Grassberger (stránka neexistuje)">Peter Grassberger</a>, "Hierarchical Clustering Based on Mutual Information", (2003) <i><a rel="nofollow" class="external text" href="http://arxiv.org/abs/q-bio/0311039">ArXiv q-bio/0311039</a></i></span> </li> <li id="cite_note-2"><span class="mw-cite-backlink"><a href="#cite_ref-2">↑</a></span> <span class="reference-text"><cite class="book" style="font-style:normal;">Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze. <i>An Introduction to Information Retrieval</i>. [s.l.]: <a href="/wiki/Cambridge_University_Press" title="Cambridge University Press">Cambridge University Press</a>, 2008. <a rel="nofollow" class="external text" href="https://archive.org/details/introductiontoin0000mann_b6m0">Dostupné online</a>. <span style="white-space:nowrap"><a href="/wiki/International_Standard_Book_Number" title="International Standard Book Number">ISBN</a> <a href="/wiki/Speci%C3%A1ln%C3%AD:Zdroje_knih/0-521-86571-9" title="Speciální:Zdroje knih/0-521-86571-9"><span class="ISBN">0-521-86571-9</span></a></span>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/cs.wikipedia.org:templatecitacemonografie&rft.btitle=An+Introduction+to+Information+Retrieval&rft_id=https%3A%2F%2Farchive.org%2Fdetails%2Fintroductiontoin0000mann_b6m0&rft.isbn=0-521-86571-9&rft.au=Christopher+D.+Manning%2C+Prabhakar+Raghavan%2C+Hinrich+Sch%C3%BCtze&rft.pub=%5B%5BCambridge+University+Press%5D%5D&rft.date=2008"><span style="display:none"> </span></span></span> </li> <li id="cite_note-3"><span class="mw-cite-backlink"><a href="#cite_ref-3">↑</a></span> <span class="reference-text">Haghighat, M. B. A., Aghagolzadeh, A., & Seyedarabi, H. (2011). <a rel="nofollow" class="external text" href="https://dx.doi.org/10.1016/j.compeleceng.2011.07.012">A non-reference image fusion metric based on mutual information of image features</a> Computers & Electrical Engineering, 37(5), 744-756.</span> </li> <li id="cite_note-4"><span class="mw-cite-backlink"><a href="#cite_ref-4">↑</a></span> <span class="reference-text"><cite class="book" style="font-style:normal;">Coombs, C. H., Dawes, R. M. & Tversky, A. <i>Mathematical Psychology: An Elementary Introduction</i>. [s.l.]: Prentice-Hall, Englewood Cliffs, NJ, 1970.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/cs.wikipedia.org:templatecitacemonografie&rft.btitle=Mathematical+Psychology%3A+An+Elementary+Introduction&rft.au=Coombs%2C+C.+H.%2C+Dawes%2C+R.+M.+%26+Tversky%2C+A.&rft.pub=Prentice-Hall%2C+Englewood+Cliffs%2C+NJ&rft.date=1970"><span style="display:none"> </span></span></span> </li> <li id="cite_note-pressflannery-5"><span class="mw-cite-backlink">↑ <a href="#cite_ref-pressflannery_5-0"><sup style="font-style: italic; font-weight: bold; vertical-align: top">a</sup></a> <a href="#cite_ref-pressflannery_5-1"><sup style="font-style: italic; font-weight: bold; vertical-align: top">b</sup></a></span> <span class="reference-text"><cite class="book" style="font-style:normal;" id="CITEREFPressTeukolskyVetterlingFlannery2007">PRESS, WH; TEUKOLSKY, SA; VETTERLING, WT; FLANNERY, BP, 2007. <i>Numerical Recipes: The Art of Scientific Computing</i>. 3rd. vyd. [s.l.]: Cambridge University Press. <span style="white-space:nowrap"><a href="/wiki/International_Standard_Book_Number" title="International Standard Book Number">ISBN</a> <a href="/wiki/Speci%C3%A1ln%C3%AD:Zdroje_knih/978-0-521-88068-8" title="Speciální:Zdroje knih/978-0-521-88068-8"><span class="ISBN">978-0-521-88068-8</span></a></span>. Kapitola <a rel="nofollow" class="external text" href="http://apps.nrbook.com/empanel/index.html#pg=758">Section 14.7.3. Conditional Entropie a Mutual Informace</a>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/cs.wikipedia.org:templatecitacemonografie&rft.btitle=Numerical+Recipes%3A+The+Art+of+Scientific+Computing&rft.isbn=978-0-521-88068-8&rft.aulast=Press&rft.aufirst=WH&rft.au=Teukolsky%2C+SA&rft.au=Vetterling%2C+WT&rft.atitle=Section+14.7.3.+Conditional+Entropie+a+Mutual+Informace&rft.pub=Cambridge+University+Press&rft.date=2007&rft.edition=3rd"><span style="display:none"> </span></span><span title="Chyba v použití šablony!" class="error" style="font-weight:bold;display:none;">Je zde použita šablona <code>{{<a href="/wiki/%C5%A0ablona:Cite_book" title="Šablona:Cite book">Cite book</a>}}</code> označená jako k „pouze dočasnému použití“.</span></span> </li> <li id="cite_note-6"><span class="mw-cite-backlink"><a href="#cite_ref-6">↑</a></span> <span class="reference-text"><cite class="book" style="font-style:normal;">Yao, Y. Y. <i>Entropy Measures, Maximum Entropy Principle and Emerging Applications</i>. [s.l.]: Springer, 2003. <a rel="nofollow" class="external text" href="https://web.archive.org/web/20140222194905/http://www.cse.ohio-state.edu/~weit/Information-Theoretic%20Measures%20for%20Knowledge%20Discovery%20and%20Data%20Mining.pdf">Dostupné v archivu</a> pořízeném dne 2014-02-22. Kapitola Information-theoretic measures for knowledge discovery and data mining.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/cs.wikipedia.org:templatecitacemonografie&rft.btitle=Entropy+Measures%2C+Maximum+Entropy+Principle+and+Emerging+Applications&rft_id=http%3A%2F%2Fwww.cse.ohio-state.edu%2F~weit%2FInformation-Theoretic%2520Measures%2520for%2520Knowledge%2520Discovery%2520and%2520Data%2520Mining.pdf&rft.au=Yao%2C+Y.+Y.&rft.atitle=Information-theoretic+measures+for+knowledge+discovery+and+data+mining&rft.pub=Springer&rft.date=2003"><span style="display:none"> </span></span> <a rel="nofollow" class="external text" href="https://web.archive.org/web/20140222194905/http://www.cse.ohio-state.edu/~weit/Information-Theoretic%20Measures%20for%20Knowledge%20Discovery%20and%20Data%20Mining.pdf">Archivováno</a> 22. 2. 2014 na <a href="/wiki/Internet_Archive" title="Internet Archive">Wayback Machine</a>.</span> </li> <li id="cite_note-7"><span class="mw-cite-backlink"><a href="#cite_ref-7">↑</a></span> <span class="reference-text"> <cite style="font-style:normal;" id="CITEREF[[Alexander_Strehl|Strehl]]2002"><a href="/w/index.php?title=ALEXANDER_STREHL&action=edit&redlink=1" class="new" title="ALEXANDER STREHL (stránka neexistuje)">STREHL</a>, Alexander, 2002. Cluster ensembles – a knowledge reuse framework for combining multiple partitions. <i>Journal of Machine Learning Research</i>. <a rel="nofollow" class="external text" href="http://strehl.com/download/strehl-jmlr02.pdf">Dostupné online</a> [<a href="/wiki/Portable_Document_Format" title="Portable Document Format">PDF</a>]. <a href="/wiki/Digital_object_identifier" title="Digital object identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1162%2F153244303321897735">10.1162/153244303321897735</a>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/cs.wikipedia.org:templatecitaceperiodika&rft.jtitle=Journal+of+Machine+Learning+Research&rft_id=info:doi/10.1162%2F153244303321897735&rft_id=http%3A%2F%2Fstrehl.com%2Fdownload%2Fstrehl-jmlr02.pdf&rft.atitle=Cluster+ensembles+%E2%80%93+a+knowledge+reuse+framework+for+combining+multiple+partitions&rft.date=2002&rft.aulast=%5B%5BAlexander+Strehl%7CStrehl%5D%5D&rft.aufirst=Alexander"><span style="display:none"> </span></span></span> </li> <li id="cite_note-8"><span class="mw-cite-backlink"><a href="#cite_ref-8">↑</a></span> <span class="reference-text"> <cite style="font-style:normal;">Wentian Li. Mutual information functions versus correlation functions. <i>J. Stat. Phys.</i>. 1990. <a href="/wiki/Digital_object_identifier" title="Digital object identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1007%2FBF01025996">10.1007/BF01025996</a>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/cs.wikipedia.org:templatecitaceperiodika&rft.jtitle=J.+Stat.+Phys.&rft_id=info:doi/10.1007%2FBF01025996&rft.atitle=Mutual+information+functions+versus+correlation+functions&rft.date=1990&rft.au=Wentian+Li"><span style="display:none"> </span></span></span> </li> <li id="cite_note-magerman-9"><span class="mw-cite-backlink"><a href="#cite_ref-magerman_9-0">↑</a></span> <span class="reference-text"><a rel="nofollow" class="external autonumber" href="http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.78.4178&rep=rep1&type=pdf">[1]</a> Parsing a Natural Language Using Mutual Information Statistics by David M. Magerman and Mitchell P. Marcus</span> </li> <li id="cite_note-everett56-10"><span class="mw-cite-backlink"><a href="#cite_ref-everett56_10-0">↑</a></span> <span class="reference-text"><a href="/wiki/Hugh_Everett" title="Hugh Everett">Hugh Everett</a> <a rel="nofollow" class="external text" href="http://www.pbs.org/wgbh/nova/manyworlds/pdf/disertaci.pdf">Teorie of Univerzální Wavefunction</a><sup>[<a href="/wiki/Wikipedie:Ov%C4%9B%C5%99itelnost" title="Wikipedie:Ověřitelnost"><span class="doplnte-zdroj" title="Je potřeba vyhledat jiný zdroj namísto současného nedostupného zdroje">nedostupný zdroj</span></a>]</sup>, Thesis, Princeton University, (1956, 1973), pp 1–140 (stránka 30)</span> </li> <li id="cite_note-everett57-11"><span class="mw-cite-backlink"><a href="#cite_ref-everett57_11-0">↑</a></span> <span class="reference-text"><a href="/wiki/Hugh_Everett" title="Hugh Everett">Hugh Everett</a>, <a rel="nofollow" class="external text" href="http://www.univer.omsk.su/omsk/Sci/Everett/paper1957.html">Relative State Formulation of Quantum Mechanics</a> <a rel="nofollow" class="external text" href="https://web.archive.org/web/20111027191052/http://www.univer.omsk.su/omsk/Sci/Everett/paper1957.html">Archivováno</a> 27. 10. 2011 na <a href="/wiki/Internet_Archive" title="Internet Archive">Wayback Machine</a>., <i>Reviews of Modern Fyzika</i> vol 29, (1957) pp 454–462.</span> </li> </ol></div> <div class="mw-heading mw-heading2"><h2 id="Literatura">Literatura</h2><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=15" title="Editace sekce: Literatura" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=15" title="Editovat zdrojový kód sekce Literatura"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <ul><li><cite style="font-style:normal;" id="CITEREFCilibrasiVitányi2005">CILIBRASI, R.; VITÁNYI, Paul, 2005. Clustering by compression. <i>IEEE Transactions on Information Theory</i>. <a rel="nofollow" class="external text" href="http://www.cwi.nl/~paulv/papers/cluster.pdf">Dostupné online</a> [<a href="/wiki/Portable_Document_Format" title="Portable Document Format">PDF</a>]. <a href="/wiki/Digital_object_identifier" title="Digital object identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1109%2FTIT.2005.844059">10.1109/TIT.2005.844059</a>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/cs.wikipedia.org:templatecitaceperiodika&rft.jtitle=IEEE+Transactions+on+Information+Theory&rft_id=info:doi/10.1109%2FTIT.2005.844059&rft_id=http%3A%2F%2Fwww.cwi.nl%2F~paulv%2Fpapers%2Fcluster.pdf&rft.atitle=Clustering+by+compression&rft.date=2005&rft.aulast=Cilibrasi&rft.aufirst=R.&rft.au=Vit%C3%A1nyi%2C+Paul"><span style="display:none"> </span></span></li> <li>Cronbach L. J. (1954). On the non-rational application of information measures in psychology, in H Quastler, ed., <i>Information Theory in Psychology: Problems and Methods</i>, Free Press, Glencoe, Illinois, pp. 14–30.</li> <li><cite style="font-style:normal;">CHURCH, Kenneth Ward; HANKS, Patrick. Word association norms, mutual information, and lexicography. <i>Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics</i>. 1989. <a rel="nofollow" class="external text" href="http://delivery.acm.org/10.1145/90000/89095/p22-church.pdf?ip=87.193.196.98&id=89095&acc=OPEN&key=BF13D071DEA4D3F3B0AA4BA89B4BCA5B&CFID=238314452&CFTOKEN=56636212&__acm__=1375963734_fac6312f7247e2f4d7915da1a876acbe">Dostupné online</a>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/cs.wikipedia.org:templatecitaceperiodika&rft.jtitle=Proceedings+of+the+27th+Annual+Meeting+of+the+Association+for+Computational+Linguistics&rft_id=http%3A%2F%2Fdelivery.acm.org%2F10.1145%2F90000%2F89095%2Fp22-church.pdf%3Fip%3D87.193.196.98%26id%3D89095%26acc%3DOPEN%26key%3DBF13D071DEA4D3F3B0AA4BA89B4BCA5B%26CFID%3D238314452%26CFTOKEN%3D56636212%26__acm__%3D1375963734_fac6312f7247e2f4d7915da1a876acbe&rft.atitle=Word+association+norms%2C+mutual+information%2C+and+lexicography&rft.date=1989&rft.aulast=Church&rft.aufirst=Kenneth+Ward&rft.au=Hanks%2C+Patrick"><span style="display:none"> </span></span><sup>[<a href="/wiki/Wikipedie:Ov%C4%9B%C5%99itelnost" title="Wikipedie:Ověřitelnost"><span class="doplnte-zdroj" title="Je potřeba vyhledat jiný zdroj namísto současného nedostupného zdroje">nedostupný zdroj</span></a>]</sup></li> <li><cite class="book" style="font-style:normal;">Guiasu, Silviu. <i>Information Theory with Applications</i>. [s.l.]: McGraw-Hill, New York, 1977. <a rel="nofollow" class="external text" href="https://archive.org/details/informationtheor0000guia">Dostupné online</a>. <span style="white-space:nowrap"><a href="/wiki/International_Standard_Book_Number" title="International Standard Book Number">ISBN</a> <a href="/wiki/Speci%C3%A1ln%C3%AD:Zdroje_knih/978-0070251090" title="Speciální:Zdroje knih/978-0070251090"><span class="ISBN">978-0070251090</span></a></span>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/cs.wikipedia.org:templatecitacemonografie&rft.btitle=Information+Theory+with+Applications&rft_id=https%3A%2F%2Farchive.org%2Fdetails%2Finformationtheor0000guia&rft.isbn=978-0070251090&rft.au=Guiasu%2C+Silviu&rft.pub=McGraw-Hill%2C+New+York&rft.date=1977"><span style="display:none"> </span></span></li> <li><cite class="book" style="font-style:normal;">LI, Ming. <i>An introduction to Kolmogorov complexity and its applications</i>. New York: <a href="/w/index.php?title=Springer-Verlag&action=edit&redlink=1" class="new" title="Springer-Verlag (stránka neexistuje)">Springer-Verlag</a>, February 1997. <a rel="nofollow" class="external text" href="https://archive.org/details/introductiontoko00limi">Dostupné online</a>. <span style="white-space:nowrap"><a href="/wiki/International_Standard_Book_Number" title="International Standard Book Number">ISBN</a> <a href="/wiki/Speci%C3%A1ln%C3%AD:Zdroje_knih/0-387-94868-6" title="Speciální:Zdroje knih/0-387-94868-6"><span class="ISBN">0-387-94868-6</span></a></span>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/cs.wikipedia.org:templatecitacemonografie&rft.btitle=An+introduction+to+Kolmogorov+complexity+and+its+applications&rft_id=https%3A%2F%2Farchive.org%2Fdetails%2Fintroductiontoko00limi&rft.isbn=0-387-94868-6&rft.aulast=Li&rft.aufirst=Ming&rft.place=New+York&rft.pub=%5B%5BSpringer-Verlag%5D%5D"><span style="display:none"> </span></span></li> <li>Lockhead G. R. (1970). Identification and the form of multidimensional discrimination space, <i>Journal of Experimental Psychology</i> <b>85</b>(1), 1–10.</li> <li>David J. C. MacKay. <i><a rel="nofollow" class="external text" href="http://www.inference.phy.cam.ac.uk/mackay/itila/book.html">Information Theory, Inference, and Learning Algorithms</a></i> Cambridge: Cambridge University Press, 2003. <span style="white-space:nowrap"><a href="/wiki/International_Standard_Book_Number" title="International Standard Book Number">ISBN</a> <a href="/wiki/Speci%C3%A1ln%C3%AD:Zdroje_knih/0-521-64298-1" title="Speciální:Zdroje knih/0-521-64298-1"><span class="ISBN">0-521-64298-1</span></a></span> (available free online)</li> <li>Haghighat, M. B. A., Aghagolzadeh, A., & Seyedarabi, H. (2011). A non-reference image fusion metric based on mutual information of image features. Computers & Electrical Engineering, 37(5), 744-756.</li> <li><a href="/w/index.php?title=Athanasios_Papoulis&action=edit&redlink=1" class="new" title="Athanasios Papoulis (stránka neexistuje)">Athanasios Papoulis</a>. <i>Probability, Random Variables, and Stochastic Processes</i>, second edition. New York: McGraw-Hill, 1984. <i>(See Chapter 15.)</i></li> <li><cite class="book" style="font-style:normal;">Witten, Ian H. & Frank, Eibe. <i>Data Mining: Practical Machine Learning Tools and Techniques</i>. [s.l.]: Morgan Kaufmann, Amsterdam, 2005. <a rel="nofollow" class="external text" href="http://www.cs.waikato.ac.nz/~ml/weka/book.html">Dostupné online</a>. <span style="white-space:nowrap"><a href="/wiki/International_Standard_Book_Number" title="International Standard Book Number">ISBN</a> <a href="/wiki/Speci%C3%A1ln%C3%AD:Zdroje_knih/978-0-12-374856-0" title="Speciální:Zdroje knih/978-0-12-374856-0"><span class="ISBN">978-0-12-374856-0</span></a></span>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/cs.wikipedia.org:templatecitacemonografie&rft.btitle=Data+Mining%3A+Practical+Machine+Learning+Tools+and+Techniques&rft_id=http%3A%2F%2Fwww.cs.waikato.ac.nz%2F~ml%2Fweka%2Fbook.html&rft.isbn=978-0-12-374856-0&rft.au=Witten%2C+Ian+H.+%26+Frank%2C+Eibe&rft.pub=Morgan+Kaufmann%2C+Amsterdam&rft.date=2005"><span style="display:none"> </span></span> <a rel="nofollow" class="external text" href="https://web.archive.org/web/20201127014857/http://www.cs.waikato.ac.nz/~ml/weka/book.html">Archivováno</a> 27. 11. 2020 na <a href="/wiki/Internet_Archive" title="Internet Archive">Wayback Machine</a>.</li> <li><cite style="font-style:normal;">Peng, H.C., Long, F. a Ding, C. Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy. <i>IEEE Transactions on Pattern Analysis and Machine Intelligence</i>. 2005. <a rel="nofollow" class="external text" href="http://research.janelia.org/peng/proj/mRMR/index.htm">Dostupné online</a>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/cs.wikipedia.org:templatecitaceperiodika&rft.jtitle=IEEE+Transactions+on+Pattern+Analysis+and+Machine+Intelligence&rft_id=http%3A%2F%2Fresearch.janelia.org%2Fpeng%2Fproj%2FmRMR%2Findex.htm&rft.atitle=Feature+selection+based+on+mutual+information%3A+criteria+of+max-dependency%2C+max-relevance%2C+and+min-redundancy&rft.date=2005&rft.au=Peng%2C+H.C.%2C+Long%2C+F.+a+Ding%2C+C."><span style="display:none"> </span></span></li> <li><cite style="font-style:normal;">Andre S. Ribeiro, Stuart A. Kauffman, Jason Lloyd-Price, Bjorn Samuelsson a Joshua Socolar. Mutual Information in Random Boolean models of regulatory networks. <i>Physical Review E</i>. 2008. <a href="/wiki/ArXiv" title="ArXiv">arXiv</a> <a rel="nofollow" class="external text" href="http://arxiv.org/abs/0707.3642">0707.3642</a>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/cs.wikipedia.org:templatecitaceperiodika&rft.jtitle=Physical+Review+E&rft.atitle=Mutual+Information+in+Random+Boolean+models+of+regulatory+networks&rft.date=2008&rft.au=Andre+S.+Ribeiro%2C+Stuart+A.+Kauffman%2C+Jason+Lloyd-Price%2C+Bjorn+Samuelsson+a+Joshua+Socolar"><span style="display:none"> </span></span></li> <li><cite style="font-style:normal;" id="CITEREFWells1996">WELLS, W.M. III, 1996. Multi-modal volume registration by maximization of mutual information. <i>Medical Image Analysis</i>. <a rel="nofollow" class="external text" href="https://web.archive.org/web/20080906201633/http://www.ai.mit.edu/people/sw/papers/mia.pdf">Dostupné v archivu</a> pořízeném dne 2008-09-06. <a href="/wiki/Digital_object_identifier" title="Digital object identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1016%2FS1361-8415%2801%2980004-9">10.1016/S1361-8415(01)80004-9</a>. <a href="/wiki/PubMed" title="PubMed">PMID</a> <a rel="nofollow" class="external text" href="https://www.ncbi.nlm.nih.gov/pubmed/9873920"><span class="PMID">9873920</span></a>.</cite><span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/cs.wikipedia.org:templatecitaceperiodika&rft.jtitle=Medical+Image+Analysis&rft_id=info:doi/10.1016%2FS1361-8415%2801%2980004-9&rft_id=http%3A%2F%2Fwww.ai.mit.edu%2Fpeople%2Fsw%2Fpapers%2Fmia.pdf&rft.atitle=Multi-modal+volume+registration+by+maximization+of+mutual+information&rft.date=1996&rft.aulast=Wells&rft.aufirst=W.M.+III"><span style="display:none"> </span></span> <a rel="nofollow" class="external text" href="https://web.archive.org/web/20080906201633/http://www.ai.mit.edu/people/sw/papers/mia.pdf">Archivováno</a> 6. 9. 2008 na <a href="/wiki/Internet_Archive" title="Internet Archive">Wayback Machine</a>.</li></ul> <div class="mw-heading mw-heading2"><h2 id="Související_články"><span id="Souvisej.C3.ADc.C3.AD_.C4.8Dl.C3.A1nky"></span>Související články</h2><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&veaction=edit&section=16" title="Editace sekce: Související články" class="mw-editsection-visualeditor"><span>editovat</span></a><span class="mw-editsection-divider"> | </span><a href="/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&action=edit&section=16" title="Editovat zdrojový kód sekce Související články"><span>editovat zdroj</span></a><span class="mw-editsection-bracket">]</span></span></div> <ul><li><a href="/w/index.php?title=Bodov%C3%A1_vz%C3%A1jemn%C3%A1_informace&action=edit&redlink=1" class="new" title="Bodová vzájemná informace (stránka neexistuje)">Bodová vzájemná informace</a></li> <li><a href="/w/index.php?title=Kvantov%C3%A1_vz%C3%A1jemn%C3%A1_informace&action=edit&redlink=1" class="new" title="Kvantová vzájemná informace (stránka neexistuje)">Kvantová vzájemná informace</a></li></ul> <style data-mw-deduplicate="TemplateStyles:r23078045">.mw-parser-output .navbox2{box-sizing:border-box;border:1px solid #a2a9b1;width:100%;clear:both;font-size:88%;text-align:center;padding:1px;margin:1em auto 0}.mw-parser-output .navbox2 .navbox2{margin-top:0}.mw-parser-output .navbox2+.navbox2{margin-top:-1px}.mw-parser-output .navbox2-inner,.mw-parser-output .navbox2-subgroup{width:100%}.mw-parser-output .navbox2-group,.mw-parser-output .navbox2-title,.mw-parser-output .navbox2-abovebelow{padding:0.25em 1em;line-height:1.5em;text-align:center}.mw-parser-output th.navbox2-group{white-space:nowrap;text-align:right}.mw-parser-output .navbox2,.mw-parser-output .navbox2-subgroup{background-color:#fdfdfd}.mw-parser-output .navbox2-list{line-height:1.5em;border-color:#fdfdfd}.mw-parser-output tr+tr>.navbox2-abovebelow,.mw-parser-output tr+tr>.navbox2-group,.mw-parser-output tr+tr>.navbox2-image,.mw-parser-output tr+tr>.navbox2-list{border-top:2px solid #fdfdfd}.mw-parser-output .navbox2 th,.mw-parser-output .navbox2-title{background-color:#e0e0e0}.mw-parser-output .navbox2-abovebelow,.mw-parser-output th.navbox2-group,.mw-parser-output .navbox2-subgroup .navbox2-title{background-color:#e7e7e7}.mw-parser-output .navbox2-subgroup .navbox2-title{font-size:88%}.mw-parser-output .navbox2-subgroup .navbox2-group,.mw-parser-output .navbox2-subgroup .navbox2-abovebelow{background-color:#f0f0f0}.mw-parser-output .navbox2-even{background-color:#f7f7f7}.mw-parser-output .navbox2-odd{background-color:transparent}.mw-parser-output .navbox2 .hlist td dl,.mw-parser-output .navbox2 .hlist td ol,.mw-parser-output .navbox2 .hlist td ul,.mw-parser-output .navbox2 td.hlist dl,.mw-parser-output .navbox2 td.hlist ol,.mw-parser-output .navbox2 td.hlist ul{padding:0.125em 0}</style><div role="navigation" class="navbox2" aria-labelledby="Autoritní_data_frameless_&#124;text-top_&#124;10px_&#124;alt=Editovat_na_Wikidatech_&#124;link=https&#58;//www.wikidata.org/wiki/Q252973#identifiers&#124;Editovat_na_Wikidatech" style="padding:2px"><table class="nowraplinks hlist navbox2-inner" style="border-spacing:0;background:transparent;color:inherit"><tbody><tr><th id="Autoritní_data_frameless_&#124;text-top_&#124;10px_&#124;alt=Editovat_na_Wikidatech_&#124;link=https&#58;//www.wikidata.org/wiki/Q252973#identifiers&#124;Editovat_na_Wikidatech" scope="row" class="navbox2-group" style="width:1%"><a href="/wiki/Autoritn%C3%AD_kontrola" title="Autoritní kontrola">Autoritní data</a> <span class="mw-valign-text-top" typeof="mw:File/Frameless"><a href="https://www.wikidata.org/wiki/Q252973#identifiers" title="Editovat na Wikidatech"><img alt="Editovat na Wikidatech" src="//upload.wikimedia.org/wikipedia/commons/thumb/8/8a/OOjs_UI_icon_edit-ltr-progressive.svg/10px-OOjs_UI_icon_edit-ltr-progressive.svg.png" decoding="async" width="10" height="10" class="mw-file-element" srcset="//upload.wikimedia.org/wikipedia/commons/thumb/8/8a/OOjs_UI_icon_edit-ltr-progressive.svg/15px-OOjs_UI_icon_edit-ltr-progressive.svg.png 1.5x, //upload.wikimedia.org/wikipedia/commons/thumb/8/8a/OOjs_UI_icon_edit-ltr-progressive.svg/20px-OOjs_UI_icon_edit-ltr-progressive.svg.png 2x" data-file-width="20" data-file-height="20" /></a></span></th><td class="navbox2-list navbox2-odd" style="text-align:left;border-left-width:2px;border-left-style:solid;width:100%;padding:0px"><div style="padding:0em 0.25em"> <ul><li><span class="nowrap"><a href="/wiki/Gemeinsame_Normdatei" title="Gemeinsame Normdatei">GND</a>: <span class="uid"><a rel="nofollow" class="external text" href="https://d-nb.info/gnd/4779212-7">4779212-7</a></span></span></li></ul> </div></td></tr></tbody></table></div>    </div><noscript><img src="https://login.wikimedia.org/wiki/Special:CentralAutoLogin/start?useformat=desktop&type=1x1&usesul3=0" alt="" width="1" height="1" style="border: none; position: absolute;"></noscript> <div class="printfooter" data-nosnippet="">Citováno z „<a dir="ltr" href="https://cs.wikipedia.org/w/index.php?title=Vzájemná_informace&oldid=24213106">https://cs.wikipedia.org/w/index.php?title=Vzájemná_informace&oldid=24213106</a>“</div></div> <div id="catlinks" class="catlinks" data-mw="interface"><div id="mw-normal-catlinks" class="mw-normal-catlinks"><a href="/wiki/N%C3%A1pov%C4%9Bda:Kategorie" title="Nápověda:Kategorie">Kategorie</a>: <ul><li><a href="/wiki/Kategorie:Teorie_informace" title="Kategorie:Teorie informace">Teorie informace</a></li><li><a href="/wiki/Kategorie:Entropie_a_informace" title="Kategorie:Entropie a informace">Entropie a informace</a></li></ul></div><div id="mw-hidden-catlinks" class="mw-hidden-catlinks mw-hidden-cats-hidden">Skryté kategorie: <ul><li><a href="/wiki/Kategorie:%C3%9Adr%C5%BEba:%C4%8Cl%C3%A1nky_s_do%C4%8Dasn%C4%9B_pou%C5%BEitou_%C5%A1ablonou" title="Kategorie:Údržba:Články s dočasně použitou šablonou">Údržba:Články s dočasně použitou šablonou</a></li><li><a href="/wiki/Kategorie:%C3%9Adr%C5%BEba:%C4%8Cl%C3%A1nky_obsahuj%C3%ADc%C3%AD_odkazy_na_nedostupn%C3%A9_zdroje" title="Kategorie:Údržba:Články obsahující odkazy na nedostupné zdroje">Údržba:Články obsahující odkazy na nedostupné zdroje</a></li><li><a href="/wiki/Kategorie:%C3%9Adr%C5%BEba:%C4%8Cl%C3%A1nky_k_%C4%8D%C3%A1ste%C4%8Dn%C3%A9_%C3%BAprav%C4%9B" title="Kategorie:Údržba:Články k částečné úpravě">Údržba:Články k částečné úpravě</a></li><li><a href="/wiki/Kategorie:Monitoring:%C4%8Cl%C3%A1nky_p%C5%99elo%C5%BEen%C3%A9_z_enwiki" title="Kategorie:Monitoring:Články přeložené z enwiki">Monitoring:Články přeložené z enwiki</a></li><li><a href="/wiki/Kategorie:Monitoring:%C4%8Cl%C3%A1nky_s_identifik%C3%A1torem_GND" title="Kategorie:Monitoring:Články s identifikátorem GND">Monitoring:Články s identifikátorem GND</a></li></ul></div></div> </div> </main> </div> <div class="mw-footer-container"> <footer id="footer" class="mw-footer" > <ul id="footer-info"> <li id="footer-info-lastmod"> Stránka byla naposledy editována 3. 9. 2024 v 19:02.</li> <li id="footer-info-copyright">Text je dostupný pod <a rel="nofollow" class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.cs">licencí Creative Commons Uveďte původ – Zachovejte licenci</a>, případně za dalších podmínek. Podrobnosti naleznete na stránce <a class="external text" href="https://foundation.wikimedia.org/wiki/Policy:Terms_of_Use/cs">Podmínky užití</a>.</li> </ul> <ul id="footer-places"> <li id="footer-places-privacy"><a href="https://foundation.wikimedia.org/wiki/Special:MyLanguage/Policy:Privacy_policy">Ochrana osobních údajů</a></li> <li id="footer-places-about"><a href="/wiki/Wikipedie">O Wikipedii</a></li> <li id="footer-places-disclaimers"><a href="/wiki/Wikipedie:Vylou%C4%8Den%C3%AD_odpov%C4%9Bdnosti">Vyloučení odpovědnosti</a></li> <li id="footer-places-contact"><a href="//cs.wikipedia.org/wiki/Wikipedie:Kontakt">Kontaktujte Wikipedii</a></li> <li id="footer-places-wm-codeofconduct"><a href="https://foundation.wikimedia.org/wiki/Special:MyLanguage/Policy:Universal_Code_of_Conduct">Kodex chování</a></li> <li id="footer-places-developers"><a href="https://developer.wikimedia.org">Vývojáři</a></li> <li id="footer-places-statslink"><a href="https://stats.wikimedia.org/#/cs.wikipedia.org">Statistiky</a></li> <li id="footer-places-cookiestatement"><a href="https://foundation.wikimedia.org/wiki/Special:MyLanguage/Policy:Cookie_statement">Prohlášení o cookies</a></li> <li id="footer-places-mobileview"><a href="//cs.m.wikipedia.org/w/index.php?title=Vz%C3%A1jemn%C3%A1_informace&mobileaction=toggle_view_mobile" class="noprint stopMobileRedirectToggle">Mobilní verze</a></li> </ul> <ul id="footer-icons" class="noprint"> <li id="footer-copyrightico"><a href="https://wikimediafoundation.org/" class="cdx-button cdx-button--fake-button cdx-button--size-large cdx-button--fake-button--enabled"><picture><source media="(min-width: 500px)" srcset="/static/images/footer/wikimedia-button.svg" width="84" height="29"><img src="/static/images/footer/wikimedia.svg" width="25" height="25" alt="Wikimedia Foundation" lang="en" loading="lazy"></picture></a></li> <li id="footer-poweredbyico"><a href="https://www.mediawiki.org/" class="cdx-button cdx-button--fake-button cdx-button--size-large cdx-button--fake-button--enabled"><picture><source media="(min-width: 500px)" srcset="/w/resources/assets/poweredby_mediawiki.svg" width="88" height="31"><img src="/w/resources/assets/mediawiki_compact.svg" alt="Powered by MediaWiki" lang="en" width="25" height="25" loading="lazy"></picture></a></li> </ul> </footer> </div> </div> </div> <div class="vector-header-container vector-sticky-header-container"> <div id="vector-sticky-header" class="vector-sticky-header"> <div class="vector-sticky-header-start"> <div class="vector-sticky-header-icon-start vector-button-flush-left vector-button-flush-right" aria-hidden="true"> <button class="cdx-button cdx-button--weight-quiet cdx-button--icon-only vector-sticky-header-search-toggle" tabindex="-1" data-event-name="ui.vector-sticky-search-form.icon"><span class="vector-icon mw-ui-icon-search mw-ui-icon-wikimedia-search"></span> <span>Hledání</span> </button> </div> <div role="search" class="vector-search-box-vue vector-search-box-show-thumbnail vector-search-box"> <div class="vector-typeahead-search-container"> <div class="cdx-typeahead-search cdx-typeahead-search--show-thumbnail"> <form action="/w/index.php" id="vector-sticky-search-form" class="cdx-search-input cdx-search-input--has-end-button"> <div class="cdx-search-input__input-wrapper" data-search-loc="header-moved"> <div class="cdx-text-input cdx-text-input--has-start-icon"> <input class="cdx-text-input__input" type="search" name="search" placeholder="Hledat na Wikipedii"> <span class="cdx-text-input__icon cdx-text-input__start-icon"></span> </div> <input type="hidden" name="title" value="Speciální:Hledání"> </div> <button class="cdx-button cdx-search-input__end-button">Hledat</button> </form> </div> </div> </div> <div class="vector-sticky-header-context-bar"> <nav aria-label="Obsah" class="vector-toc-landmark"> <div id="vector-sticky-header-toc" class="vector-dropdown mw-portlet mw-portlet-sticky-header-toc vector-sticky-header-toc vector-button-flush-left" > <input type="checkbox" id="vector-sticky-header-toc-checkbox" role="button" aria-haspopup="true" data-event-name="ui.dropdown-vector-sticky-header-toc" class="vector-dropdown-checkbox " aria-label="Přepnout obsah" > <label id="vector-sticky-header-toc-label" for="vector-sticky-header-toc-checkbox" class="vector-dropdown-label cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only " aria-hidden="true" ><span class="vector-icon mw-ui-icon-listBullet mw-ui-icon-wikimedia-listBullet"></span> <span class="vector-dropdown-label-text">Přepnout obsah</span> </label> <div class="vector-dropdown-content"> <div id="vector-sticky-header-toc-unpinned-container" class="vector-unpinned-container"> </div> </div> </div> </nav> <div class="vector-sticky-header-context-bar-primary" aria-hidden="true" ><span class="mw-page-title-main">Vzájemná informace</span></div> </div> </div> <div class="vector-sticky-header-end" aria-hidden="true"> <div class="vector-sticky-header-icons"> <a href="#" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only" id="ca-talk-sticky-header" tabindex="-1" data-event-name="talk-sticky-header"><span class="vector-icon mw-ui-icon-speechBubbles mw-ui-icon-wikimedia-speechBubbles"></span> <span></span> </a> <a href="#" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only" id="ca-subject-sticky-header" tabindex="-1" data-event-name="subject-sticky-header"><span class="vector-icon mw-ui-icon-article mw-ui-icon-wikimedia-article"></span> <span></span> </a> <a href="#" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only" id="ca-history-sticky-header" tabindex="-1" data-event-name="history-sticky-header"><span class="vector-icon mw-ui-icon-wikimedia-history mw-ui-icon-wikimedia-wikimedia-history"></span> <span></span> </a> <a href="#" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only mw-watchlink" id="ca-watchstar-sticky-header" tabindex="-1" data-event-name="watch-sticky-header"><span class="vector-icon mw-ui-icon-wikimedia-star mw-ui-icon-wikimedia-wikimedia-star"></span> <span></span> </a> <a href="#" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only" id="ca-ve-edit-sticky-header" tabindex="-1" data-event-name="ve-edit-sticky-header"><span class="vector-icon mw-ui-icon-wikimedia-edit mw-ui-icon-wikimedia-wikimedia-edit"></span> <span></span> </a> <a href="#" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only" id="ca-edit-sticky-header" tabindex="-1" data-event-name="wikitext-edit-sticky-header"><span class="vector-icon mw-ui-icon-wikimedia-wikiText mw-ui-icon-wikimedia-wikimedia-wikiText"></span> <span></span> </a> <a href="#" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--icon-only" id="ca-viewsource-sticky-header" tabindex="-1" data-event-name="ve-edit-protected-sticky-header"><span class="vector-icon mw-ui-icon-wikimedia-editLock mw-ui-icon-wikimedia-wikimedia-editLock"></span> <span></span> </a> </div> <div class="vector-sticky-header-buttons"> <button class="cdx-button cdx-button--weight-quiet mw-interlanguage-selector" id="p-lang-btn-sticky-header" tabindex="-1" data-event-name="ui.dropdown-p-lang-btn-sticky-header"><span class="vector-icon mw-ui-icon-wikimedia-language mw-ui-icon-wikimedia-wikimedia-language"></span> <span>20 jazyků</span> </button> <a href="#" class="cdx-button cdx-button--fake-button cdx-button--fake-button--enabled cdx-button--weight-quiet cdx-button--action-progressive" id="ca-addsection-sticky-header" tabindex="-1" data-event-name="addsection-sticky-header"><span class="vector-icon mw-ui-icon-speechBubbleAdd-progressive mw-ui-icon-wikimedia-speechBubbleAdd-progressive"></span> <span>Přidat téma</span> </a> </div> <div class="vector-sticky-header-icon-end"> <div class="vector-user-links"> </div> </div> </div> </div> </div> <div class="mw-portlet mw-portlet-dock-bottom emptyPortlet" id="p-dock-bottom"> <ul> </ul> </div> <script>(RLQ=window.RLQ||[]).push(function(){mw.config.set({"wgHostname":"mw-web.codfw.main-64b5bb4b79-wjqrk","wgBackendResponseTime":162,"wgPageParseReport":{"limitreport":{"cputime":"0.268","walltime":"0.674","ppvisitednodes":{"value":2654,"limit":1000000},"postexpandincludesize":{"value":42886,"limit":2097152},"templateargumentsize":{"value":9416,"limit":2097152},"expansiondepth":{"value":22,"limit":100},"expensivefunctioncount":{"value":2,"limit":500},"unstrip-depth":{"value":0,"limit":20},"unstrip-size":{"value":15568,"limit":5000000},"entityaccesscount":{"value":1,"limit":400},"timingprofile":["100.00% 242.374 1 -total"," 26.32% 63.803 1 Šablona:Autoritní_data"," 19.38% 46.981 1 Šablona:Překlad"," 14.28% 34.621 1 Šablona:Překlad/core"," 13.24% 32.093 2 Šablona:Vjazyce2"," 11.43% 27.715 1 Šablona:Cite_book"," 11.32% 27.438 1 Šablona:Překlad/článek"," 10.77% 26.092 5 Šablona:První_neprázdný"," 10.69% 25.904 2 Šablona:Vjazyce"," 9.85% 23.880 6 Šablona:Citace_monografie"]},"scribunto":{"limitreport-timeusage":{"value":"0.058","limit":"10.000"},"limitreport-memusage":{"value":1986658,"limit":52428800}},"cachereport":{"origin":"mw-web.eqiad.main-6458bccbb8-w8fp5","timestamp":"20250208233135","ttl":2592000,"transientcontent":false}}});});</script> <script type="application/ld+json">{"@context":"https:\/\/schema.org","@type":"Article","name":"Vz\u00e1jemn\u00e1 informace","url":"https:\/\/cs.wikipedia.org\/wiki\/Vz%C3%A1jemn%C3%A1_informace","sameAs":"http:\/\/www.wikidata.org\/entity\/Q252973","mainEntity":"http:\/\/www.wikidata.org\/entity\/Q252973","author":{"@type":"Organization","name":"P\u0159isp\u011bvatel\u00e9 projekt\u016f Wikimedia"},"publisher":{"@type":"Organization","name":"nadace Wikimedia","logo":{"@type":"ImageObject","url":"https:\/\/www.wikimedia.org\/static\/images\/wmf-hor-googpub.png"}},"datePublished":"2014-02-05T22:16:47Z","dateModified":"2024-09-03T18:02:52Z","image":"https:\/\/upload.wikimedia.org\/wikipedia\/commons\/d\/d4\/Entropy-mutual-information-relative-entropy-relation-diagram.svg"}</script> </body> </html>

CINXE.COM

Vzájemná informace – Wikipedie