Proposition d'un smart imager intégrant des fonctions d'exécution de réseaux de neurone (Composants et équipements électroniques)

Description de l'offre

Domaine : Composants et équipements électroniques

Contrat : Stage

Description du poste :

Contexte du stage: 
L’évolution des technologies silicium permet d’envisager sérieusement la réalisation de capteurs d’images par empilement de couches successives (intégration 3D) [1]. A ce jour, les industriels exploitent cette possibilité essentiellement pour améliorer les caractéristiques de la capture d’image (diminution du bruit de lecture, augmentation de la cadence d’acquisition, augmentation de la sensibilité du capteur, …). Des équipes de recherche vont plus loin en exploitant la technologie d’intégration 3D pour proposer des imageurs intelligents (ou smart imager) qui réalisent des fonctions de calcul complexes en plus de la capture d’images. Par ailleurs, l’utilisation des réseaux de neurones dans les applications de vision a explosé et la réalisation des fonctions de calcul permettant leur exécution au sein d’un smart imager est une voie de recherche particulièrement prometteuse.
Le laboratoire L3A a une forte expérience dans la conception d’architecture de traitement d’images. Il a notamment conçu et réalisé un smart imager 3D appelé RETINE [2]. Il est composé de deux couches silicium, une pour la capture d’image et une autre pour le traitement des pixels à la volée. L’architecture de cette seconde couche est composée de processeurs programmables et de mécanismes de communication qui permettent de réaliser une grande variété de traitements d’image (filtrage d’image, détection d’évènement, histogramme, extraction de points d’intérêt). Le L3A a également développé un environnement de conception de réseau de neurone N2D2 [3] permettant l’exploration d’architecture de réseau et de les exporter vers une grande variété de cibles matérielles embarquées.

Objectifs:
Faire une étude des architectures numériques de réseaux de neurone dans le contexte des smart imager et de proposer une amélioration de l’architecture RETINE existante pour ce cadre applicatif.
Dans un premier temps, nous proposons de regarder les réseaux à convolution. Si le temps le permet, l’étude sera étendue à d’autres réseaux. Pour cela, vous devrez faire un état de l’art des architectures numériques embarquées dédiées à l’exécution de réseaux de neurones afin d’identifier leurs caractéristiques, puis porter un réseau de neurone sur l’architecture RETINE. Sur la base de ces analyses et expérimentations, vous allez proposer des pistes d’évolution de l’architecture qui pourront être validés dans les simulateurs développés par le laboratoire.

Références :
[1] P. Vivet et Al. Advanced 3D Technologies and Architectures for 3D Smart Image Sensors. DATE 2019: 674-679
[2] L. Millet et Al. A 5500-frames/s 85-GOPS/W 3-D Stacked BSI Vision Chip Based on Parallel In-Focal-Plane Acquisition and Processing. J. Solid-State Circuits 54(4): 1096-1105 (2019)
[3] https://github.com/CEA-LIST/N2D2


Niveau demandé : diplôme master recherche (BAC+5)

Compétences : micro-électronique, architecture numérique, capteur d'image, langage RTL (VHDL, Verilog), langage description matériel haut niveau (SystemC, System Verilog), réseaux de neurone.

Ville : Palaiseau