header

aléatoire et indépendance

Disons qu'on a un vecteur aléatoires dans En\displaystyle E^n (où E\displaystyle E pourrait être R\displaystyle ℝ par exemple) distribué selon la densité f:EnR+\displaystyle f: E^n → ℝ^+ Bien entendu f\displaystyle f est une distribution donc a forcément que la somme sur toutes les possibilités a une masse de 1\displaystyle 1 Edx1...Edxnf(x1,...,xn)=1\displaystyle ∫_E dx_1 ... ∫_E dx_n f(x_1,...,x_n)= 1

Comment détecter l'indépendance des composantes du vecteur ?

Regardons la fonction densité pour la composante xi\displaystyle x_i étant donné une réalisation des x1\displaystyle x_1,...,xi1\displaystyle x_{i-1},xi+1\displaystyle x_{i+1},...,xn\displaystyle x_n fi(x1,...,xn):=f(x1,...,xn)Edxif(x1,...,xn)\displaystyle f_i(x_1,...,x_n) := \frac{f(x_1,...,x_n)}{∫_E dx_i f(x_1,...,x_n)} avec convention 0\displaystyle 0 quand l'intégrale dessous est 0\displaystyle 0 (oui car ça veut dire que ça ne va pas se produire)

Si xi\displaystyle x_i est indépendante des autres, alors on doit avoir fi(x1,...,xn)=fi(xi)\displaystyle f_i(x_1,...,x_n) = f_i(x_i) La signification étant que "savoir quelque chose des autres composantes ne nous renseigne pas sur une composante, elle agira avec le même aléatoire, indépendament"

Ainsi si toutes les composantes sont indépendantes, on peut reconstruire f\displaystyle f uniquement avec les fi\displaystyle f_i f(x1,...,xn)=Πifi(xi)\displaystyle f(x_1,...,x_n) = Π_i f_i(x_i) ce qui peut s'intuiter comme une "extrusion"

La règle de la chaîne proba dit la même chose sur l'indépendance p(x1,...,xn)=p(x1)p(x2x1)...p(xnx1,...,xn1)=p(x1)p(x2)...p(xn) si indep.\displaystyle \al{ p(x_1,...,x_n) &= p(x_1)⋅p(x_2|x_1)⋅...⋅p(x_n|x_1,...,x_{n-1}) \\ &= p(x_1)⋅p(x_2)⋅...⋅p(x_n) & \text{ si indep.}\\ }

noise Fourier Transform

Prenons un vecteur s\displaystyle s de variables aléatoires, et interprétons le comme un signal. La question est de savoir à quoi ressemble la distribution de la transformée de Fourier que voici F[s](ω)=s|nexp(i2πnNω)\displaystyle F[s](ω) = \left⟨s \,\middle|\, n ↦ \exp\left(i2π\frac{n}{N}ω\right) \right⟩ qu'on peut expliciter F[s](ω)=n=0N1s(n)exp(i2πnNω)\displaystyle F[s](ω) = ∑_{n=0}^{N-1} s(n)\exp\left(i2π\frac{n}{N}ω\right)

On peut aussi voir ceci comme une fonction ϕ\displaystyle ϕ qui transforme le vecteur s\displaystyle s en s^=F[s]\displaystyle \hat{s} = F[s], où ϕ\displaystyle ϕ est une application linéaire inversible.

Ainsi pour obtenir la distribution d'un vecteur s^\displaystyle \hat{s} on peut calculer f(ϕ1(s^))\displaystyle f(ϕ^{-1}(\hat{s}))f(s)\displaystyle f(s) est la densité pour s\displaystyle s. C'est super ! Quand on connaît f\displaystyle f et ϕ1\displaystyle ϕ^{-1} on peut calculer explicitement la distribution !

Regardons un cas facile représentable en 2D : un signal constitué de 2 pixels s=[s1s2]s^=F[s]=[s1+s2s1s2]\displaystyle \al{s = \mat{s_1\\s_2} &&&& \hat{s} = F[s] = \mat{s_1+s_2\\s_1-s_2}}

Super pratique, on reste même complètement dans les réels.

Avec f:R²R+\displaystyle f: ℝ²→ℝ^+ la distribution de s\displaystyle s (qu'on prendra gaussienne), on peut calculer f^\displaystyle \hat{f} la distribution de s^\displaystyle \hat{s} f^(s^)=f(F1[s])=f([s^1+s^22s^1s^22])\displaystyle \hat{f}(\hat{s}) = f(F^{-1}[s]) = f\left(\mat{\frac{\hat{s}_1+\hat{s}_2}{2} \\ \frac{\hat{s}_1-\hat{s}_2}{2}}\right)

distribution de s\displaystyle s distribution de s^\displaystyle \hat{s} σx\displaystyle σ_x σy\displaystyle σ_y μx\displaystyle μ_x μy\displaystyle μ_y

On dirait que tant que les inputs sont identiquement distribués, l'output l'est aussi

Regardons un cas facile mais qui n'est plus représentable en 2D : un signal constitué de 3 pixels (wow !) s=[s1s2s3]s^=F[s]=[s1+s2+s3s1+s2exp(i23π)+s3exp(i43π)s1+s2exp(i43π)+s3exp(i83π)]\displaystyle \al{s = \mat{s_1\\s_2\\s_3} &&&& \hat{s} = F[s] = \mat{ s_1 + s_2 + s_3\\ s_1 + s_2\exp\left(i\frac{2}{3}π\right)+s_3\exp\left(i\frac{4}{3}π\right)\\ s_1 + s_2\exp\left(i\frac{4}{3}π\right)+s_3\exp\left(i\frac{8}{3}π\right)\\ }}

On est plus dans les réels, les axes deviennent complexes... on va collapse la masse sur le module, puis la phase séparément par exemple.

Pour ne pas s'embrouiller, nommons a:=abs(F[s])\displaystyle a := abs(F[s]), ainsi la distribution associée fa\displaystyle f_a se calcule fa(a)=fa(abs(F[s]))=f(F1[abs1(s^)])\displaystyle f_a(a) = f_a(abs(F[s])) = f(F^{-1}[abs^{-1}(\hat{s})]) J'abuse des notation car ici je regarde l'image d'un ensemble, comme abs\displaystyle abs n'est pas invertible. Il faut cumuler la masse associée.