H.S (1981-20??) : Savant mégalomane du XXIème siècle. Compositeur, ecrivain, philosophe posthumaniste, spécialiste en sciences de la complexité, en machine learning, creativity et listening. Inventeur du modèle cognitif universel de la créativité.

J'ai modifié la fin du texte pour être plus clair : la thèse de Church reste vraie bien entendu !

Le problème est que les capacités Super-Turing nous parle d'un
calcul "non programmable", il y a donc une distinction entre "calcul
programmable" et "calcul". Un résultat émergent d'un processus
parallèle ( même discret !) peut être un résultat Super-Turing, un
"calcul" issu d'une "machine virtuelle" générée à partir d'une TM
classique, mais non programmable au sens de la Thèse de Church, car
son résultat n'était pas souhaité à partir du code de base. Les
capacités Super-Turing ne remette pas en cause la thèse de Church,
qui ne considère que les "calculs effectifs". Les capacités
Super-Turing invitent donc à une extension du calculable, une
differentiation entre le calculable effectif et le calcul
"émergeant" d'un parallélisme de TM qui peut être infini en temps et en précision.

Tu n'es pas hyper-clair, mais je suppose que tu essayes d'être court.

J’ai hésité avant d’écrire sur les capacités Super-Turing. Première fois que j’en ai entendu parler, c’est en 2003, avec Colin, on me parlait d’une démonstration obscure montrant que les réseaux de neurones étaient plus puissants que les TMs. Christophe m’a ensuite expliqué que la démonstration était dans le cas de la computation analogique et qu’il fallait sans doute éviter d’en parler, car c’était controversé. Il ne m’en a pas fallu plus pour alimenter ma curiosité. Au début, c’est bien simple, je n’ai rien compris, j’ai décidé de laisser tomber en recalant Super-Turing et son hypercomputation dans le répertoire science-fiction de mon cerveau. Un an plus tard, c’est un peu l’explosion, je remarque que les références aux travaux de Hava Siegelmann sont cités dans presque chaque article abordant les réseaux de neurones récurrents, je suis en plein dans mon mémoire, et je constate que cette faculté incroyable est un argument de poids en faveur des RNNs. Je commence à plonger dans les articles, là je me rends compte que Siegelmann n'y va pas de main morte, je comprends que je n’arriverais sans doute pas à comprendre toute l’essence de sa démonstration en une poignée de jours, parce que forcément je me donne pas plus de temps, pour comprendre et rédiger quelque chose, de maximum 2 ou 3 pages, sur le sujet.

Heureusement qu’internet est là, je commence à recherche chaque pdf ou les mots super-turing/cantor/analogique apparaissent, et par recoupement, j’arrive enfin à comprendre l’idée générale de la démonstration. Il en ressort dans un premier temps une crise philosophique conséquente : continu ou discret ? Pourquoi faire de l’analogique alors que nous sommes de toute façon obligé de discrétiser ? N’est-ce que de la théorie pure sans aucun fondement ? Suis-je une machine Super-Turing ? Pourquoi j’étudie l’informatique ? Pourquoi est-ce que le chocolat est si bon ?

Puis petit à petit, ça s’éclaire. En comparaison avec ce que l’on trouve dans ce thread, j’ai déjà modifié le texte. Premièrement, un des détails importants de la démonstration dont je n’avais pas parler, et qui est essentiel, c’est l’usage de l’ensemble de Cantor pour stocker les poids du réseau de neurone analogique => ensemble discret qui contient une infinité d'éléments, il a la puissance du continu et il est fractal. Deuxièmement, le clivage discret/continu est le faux problème dans lequel le lecteur, même averti, peut se perdre, en fait ce qui compte c’est clairement l’infinité en précision du programme, donc pour  faire vulgaire, on parle de programme itératif à l’infini, genre un système dynamique non linéaire, ce qui englobe d’une certaine manière la puissance de calcul de l’émergence jusque là inexplicable en science. L’idée est donc que ces programmes sont équivalents à une machine de turing non uniforme qui correspond à une classe de problème P/Poly qui contient des fonctions non récursives.  ARNN calcule la classe P/Poly en temps polynomiale => ARNN est STM.

Et donc là, oui, j’y avais pensé un tout petit peu sans approfondir la question, mais on peut dire que le déployeur universel possède des capacités Super-Turing, puisqu’il va aussi créer les programmes infinis en longueur, en précision, en temps et donc d’une certaine manière faire de l’analogique. Si le déployeur peut par exemple créer tous les systèmes dynamiques chaotiques avec précision infinie et les itérer dans le temps à l’infini, alors oui, il englobe super-turing.

En fait ce n’est pas nouveau, beaucoup de personne travaille finalement à ce futur de l’informatique presque sans s’en rendre compte. Ceux qui travaillent sur l’inférence grammaticale à l’aide de RNN remarquent que la hiérarchie de Chomsky est imprécise, en fait, il existe une transition continue entre les classes de langages, il existe des langages intermédiaires. Par exemple, le modèle RNN LSTM englobe les langages context-free et un sous-ensemble des langages context-sensitive. En étudiant la dynamique des RNN, on constate aussi que les capacités Turing classique, donc la capacité d’accepter des langages récursifs, semble être l’apanage des réseaux à dynamique itinérant, à ce fameux bord du chaos de Santa Fe, qui devient de plus en plus une évidence.  En fait, on est en pleine reconstruction de l’informatique théorique à partir de la dynamique non linéaire où le calcul est alors une trajectoire dans un espace des phases.

N.B : Notons qu’il reste encore un travail d’unification considérable, même si tous les systèmes de computation analogique et les systèmes parallèles sont maintenant unifiés avec le réseau de neurone récurrent analogique, il reste encore le cas de l’informatique quantique qui a développé sa propre informatique théorique dans son coin, il serait intéressant de savoir où sa puissance computationnelle se place dans tout ça. Y a déjà des travaux sur des réseaux neuronaux quantiques, on a construit un modèle de mémoire associative quantique à partir de l’algorithme de Grover, sa capacité de stockage est de 2 exposant Q, q étant le nombre de qubit, chaque qubit étant considéré comme un neurone, ce qui renvoit le modèle de Hopfield et sa capacité de stockage de 14% du nombre de neurone dans le monde des modèles dinosaures de la science. Les RNNs chaotiques à apprentissage aléatoire permettent théoriquement de stocker une infinité de pattern

heu ca m'étonnerait tres fort que le déployeur universel fabrique des programmes infinis..il fera des programmes de plus en plus grand mais à chaque fois qu'il va se mettre à executer un programme, ce programme sera fini vu qu'il est désigné par un nombre phi_n... j'ai donc l'impression qu'il n'est pas possible de cerner le continu avec le deployeur, mais seulement de s'en rapprocher avec une très grande précision.
Ensuite, est-ce que ces machines super-turings sont réalisables ? est-ce qu'il est possible de gérer reelement des nombres réels dans un ordinateur (ce n'est qu'un cas particulier de ce que j'ai dis plus haut) ou bien les approximations (càd les nombres à virgule flottantes de x bits) sont suffisants ?