Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : ENSTA Paris, Computer Science and System Engineeri
Durée : 6 months
Contact : sao-mai.nguyen@ensta-paris.fr
Date limite de publication : 2023-03-31

Contexte :
Fully autonomous robots have the potential to impact real-life applications, like assisting elderly people. Autonomous robots must deal with uncertain and continuously changing environments, where it is not possible to program the robot tasks. Instead, the robot must continuously learn new tasks and how to perform more complex tasks combining simpler ones (i.e., a task hierarchy). This problem is called lifelong learning of hierarchical tasks.

Sujet :
Hierarchical Reinforcement Learning (HRL) is a recent approach for learning to solve long and complex tasks by decomposing them into simpler subtasks. HRL could be regarded as an extension of the standard Reinforcement Learning (RL) setting as it features high-level agents selecting subtasks to perform and low-level agents learning actions or policies to achieve them. We recently proposed a HRL algorithm, GARA (Goal Abstraction via Reachability Analysis), that aims to learn an abstract model of the subgoals of the hierarchical task.
However, HRL can still be limited when faced with the states with high dimension and the real-world open-ended environment. Introducing a human teacher to Reinforcement Learning algorithms has been shown to bootstrap the learning performance. Moreover, active imitation learners such as in [1] have shown that they can strategically choose the most useful questions to ask to a human teacher : they can choose, who, when, what and whom to ask for demonstrations [2,3].
This internship’s goal is to explore how active imitation can improve the algorithm GARA. The intuition in this context is that human demonstrations can be used to determine the structure of the task (ie. which subtasks need to be achieved) as well as determining a planning strategy to solve it (ie. the order of achieving subtasks).
During this internship we will :
• Study the relevant state-of-art and make a research hypothesis about the
usefulness of introducing human demonstrations into the considered HRL
algorithm.
• Design and implement a component to learn from human demonstrations in
GARA.
• Conduct an experimental evaluation to assess the research hypothesis.
The intern is expected to also collaborate with a PhD student whose work is closely related to this topic.

Profil du candidat :
The intern should be enrolled in a master program (either M1 or M2) in Computer Science or Robotics.

Formation et compétences requises :
The students should have a prior knowledge (e.g., followed some course) in machine learning, deep learning, and reinforcement learning, and be motivated to complete a research-focused internship.

Adresse d’emploi :
ENSTA Paris, Computer Science and System Engineering Department

Document attaché : 202302021428_internshipActiveImitationLearning.pdf

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : ENSTA Paris, Computer Science and System Engineeri
Durée : 6 months
Contact : sao-mai.nguyen@ensta-paris.fr
Date limite de publication : 2023-03-31

Contexte :
Fully autonomous robots have the potential to impact real-life applications, like assisting elderly people. Autonomous robots must deal with uncertain and continuously changing environments, where it is not possible to program the robot tasks. Instead, the robot must continuously learn new tasks and how to perform more complex tasks combining simpler ones (i.e., a task hierarchy). This problem is called lifelong learning of hierarchical tasks [5]. Hierarchical Reinforcement Learning (HRL) is a recent approach for learning to solve long and complex tasks by decomposing them into simpler subtasks. HRL could be regarded as an extension of the standard Reinforcement Learning (RL) setting as it features high-level agents selecting subtasks to perform and low-level agents learning actions or policies to achieve them.

Sujet :
This internship studies the applications of Hierarchical Reinforcement Learning methods in robotics: Deploying autonomous robots in real world environments typically introduces multiple difficulties among which is the size of the observable space and the length of the required tasks. 

Reinforcement Learning typically helps agents solve decision making problems by autonomously discovering successful behaviours and learning them. But these methods are known to struggle with long and complex tasks. Hierarchical Reinforcement Learning extend this paradigm to decompose these problems into easier subproblems with High-level agents determining which subtasks need to be accomplished, and Low-level agent learning to achieve them.

During this internship, the intern will :

• Get acquainted with the state of art in Hierarchical Reinforcement Learning including the most notable algorithms [1, 2, 3], the challenges they solve and their limitations.
• Reimplement some of these approaches and validate their results in robotics simulated environments such as iGibson [4].
• Establish an experimental comparison of these methods with respect to some research hypothesis.
The intern is expected to also collaborate with a PhD student whose work is closely related to this topic.

References:
[1] Nachum, O.; Gu, S.; Lee, H.; and Levine, S. 2018. Data- Efficient Hierarchical Reinforcement Learning. In Bengio, S.; Wallach, H. M.; Larochelle, H.; Grauman, K.; Cesa- Bianchi, N.; and Garnett, R., eds., Advances in Neural Infor- mation Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montre ́al, Canada, 3307–3317.
[2] Kulkarni, T. D.; Narasimhan, K.; Saeedi, A.; and Tenen- baum, J. 2016. Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation. In Lee, D.; Sugiyama, M.; Luxburg, U.; Guyon, I.; and Garnett, R., eds., Advances in Neural Information Processing Systems, volume 29. Curran Associates, Inc.
[3] Vezhnevets, A. S.; Osindero, S.; Schaul, T.; Heess, N.; Jaderberg, M.; Silver, D.; and Kavukcuoglu, K. 2017. FeU- dal Networks for Hierarchical Reinforcement Learning. CoRR, abs/1703.01161.
[4] Chengshu Li, Fei Xia, Roberto Mart ́ın-Mart ́ın, Michael Lingelbach, Sanjana Srivastava, Bokui Shen, Kent Vainio, Cem Gokmen, Gokul Dharan, Tanish Jain, Andrey Kurenkov, C. Karen Liu, Hyowon Gweon, Jiajun Wu, Li Fei-Fei, and Silvio Savarese. igibson 2.0: Object-centric simulation for robot learning of everyday household tasks, 2021. URL https://arxiv.org/abs/2108.0327
[5] Nguyen, S. M., Duminy, N., Manoury, A., Duhaut, D., and Buche, C. (2021). Robots Learn Increasingly Complex Tasks with Intrinsic Motivation and Automatic Curriculum Learning. KI – Künstliche Intelligenz, 35(81-90).

Profil du candidat :
The intern should be enrolled in a master program (either M1 or M2) in Computer Science or Robotics.

Formation et compétences requises :
The students should have a prior knowledge (e.g., followed some course) in machine learning, deep learning, and reinforcement learning, and be motivated to complete a research-focused internship.

Adresse d’emploi :
ENSTA Paris, Computer Science and System Engineering Department

Document attaché : 202302021426_internshipHierarchicalRL.pdf

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : LAMSADE
Durée : 3-6 mois
Contact : daniela.grigori@dauphine.fr
Date limite de publication : 2023-02-28

Contexte :
Emails play, in the personal and particularly in the professional context, a central role in activity management. Emails can be harvested and re-engineered for understanding and analyzing undocumented business process activities and their corresponding metadata. By applying ML and NLP techniques on emails, information about activities [8], their metadata and their organization into process instances can be derived. These mined data can be used by exiting process mining tools to discover and analyze the inherent business processes executed by exchanging messages. Process mining is a recent research topic that applies artificial intelligence and data mining techniques to process modelling and analysis [1,2].

Sujet :
The aim of this internship is to propose techniques for mining business activities and related data from emails in order to improve and extend our recent work [3-7] by applying machine learning techniques [9].

Profil du candidat :
We seek for excellent and highly motivated student with a background in Computer Science
having good knowledge of NLP, ML and good programming skills (Python).

Formation et compétences requises :
M2

Adresse d’emploi :
Université Paris Dauphine PSL

Document attaché : 202301310904_Proposition_stage_EmalMining_2023.pdf

Offre en lien avec l’Action/le Réseau : DOING/– — –

Laboratoire/Entreprise : SAMOVAR – Télécom SudParis
Durée : 6 mois
Contact : julien.romero@telecom-sudparis.eu
Date limite de publication : 2023-02-28

Contexte :
In this internship, we propose to study the problem of financial forecasting, i.e., predicting the future variation of the price of a financial instrument, using deep learning. The student will work on a new data source with a finer granularity than existing datasets. Because of the difficulty of obtaining data, previous works focused on price prediction at the scale of a day, a week, or a month. Our new dataset contains intraday information. Therefore, we can predict the price within a day and use multi-scale analysis. Besides, our new dataset contains different kinds of financial instruments (FOREX, crypto, options, futures) and additional information about the companies (description, financial reports, dividends).

Sujet :
The intern will start with state-of-the-art methods used for financial forecasting. The goal will be to study the existing datasets and models and to find their limitations. In parallel, they will get used to the structure of the data. Then, we will propose a new method to compare to other baselines. The end goal of this project is to publish a paper at an international conference.

Profil du candidat :
The intern should be involved in a master’s program and have a good knowledge of machine learning, deep learning, and data processing. A good understanding of Python and the standard libraries used in data science (scikit-learn, PyTorch, pandas) is also expected. A previous experience with finance is appreciated but not required for this internship.

Formation et compétences requises :
The intern should be involved in a master’s program and have a good knowledge of machine learning, deep learning, and data processing. A good understanding of Python and the standard libraries used in data science (scikit-learn, PyTorch, pandas) is also expected. A previous experience with finance is appreciated but not required for this internship.

Adresse d’emploi :
19 place marguerite perey, 91120 Palaiseau

Document attaché : 202301301408_stage_finance.pdf

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : Da Vinci Research Center(DVRC)
Durée : 6 mois
Contact : christophe.rodrigues@devinci.fr
Date limite de publication : 2023-03-01

Contexte :
L’utilisation de l’intelligence artificielle (IA) pour la cybersécurité ou plus spécifiquement pour la détection des logiciels malveillants est devenue un sujet de premier plan. Dans ce contexte, l’entreprise SitInCloud a développé Owlyshield, un des meilleurs modèles IA sur le marché pour la détection des rançongiciels, en disposant de plus de 115000 exécutables pour l’entraînement, un modèle avec plus de 3 millions(?)de paramètres et un taux de précision de 97%. Cependant, les logiciels malveillants ne cessent d’évoluer avec des techniques de plus en plus sophistiquées afin de déjouer les systèmes de détection.

Sujet :
L’objectif de ce stage est d’améliorer l’approche hybride qui combine l’analyse statique et l’analyse dynamique du code pour avoir des modèles plus fiables. L’analyse statique se base actuellement sur i) des caractéristiques extraites d’exécutables comme le nombre de sections, leurs tailles, les entropies, etc. et ii) des images qui représentent des exécutables.
Des biais existent sur les images utilisées pour les réseaux neuronaux convolutifs (CNN) car les exécutables de maliciels sont généralement plus petits et compressés. Quant à l’analyse comportemental ou dynamique, nous souhaitons extraire plus d’informations des séries temporelles, ce qui permettra une meilleure analyse du temps d’exécution du code. Enfin, une pondération des décisions statiques et dynamiques devrait être faite en fonction de la quantité de données comportementales disponibles.

Profil du candidat :
Candidat à l’aise avec le développement logiciel et intéressé par les techniques d’apprentissage profond.
Intéressé par la recherche en informatique, ce stage peut se poursuivre en thèse avec le partenariat de l’entreprise (SitInCloud).

Formation et compétences requises :
Deep Learning, Cybersécurité, Python, Rust, Analyse de programme

Adresse d’emploi :
Paris La Défense

Document attaché : 202301231103_SujetStageM2ApprocheHybrideDetectionRancongiciels.pdf

Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : IRIT
Durée : 6 mois
Contact : emmanuelle.claeys@irit.fr
Date limite de publication : 2024-06-30

Contexte :
La consommation d’énergie des ordinateurs devient une préoccupation majeure dans le cadre du réchauffement climatique. Pour optimiser leur consommation électrique d’application informatique, il est nécessaire de disposer d’informations précises sur leur comportement. Il devient alors possible de choisir la bonne fréquence d’un processeur. Cependant, le choix de la vitesse de fréquence peut fortement détériorer son fonctionnement, ou au contraire, n’avoir aucun effet visible pour l’utilisateur.

Sujet :
L’objectif de ce projet sera réalisé en plusieurs étapes

Découvrir en temps réel la vitesse des applications à partir de données instantanées. La modélisation se fera à l’aide de capteurs en temps réel (compteurs de performances matérielles, RAPL, …).

Modéliser le comportement à grain fin des applications pour les relier à l’incidence d’un changement de fréquence (en termes de performances et d’énergie).

Utiliser un algorithme d’apprentissage par renforcement (ici un modèle de bandit) pour choisir en temps réel la fréquence la plus adaptée.

Des données de monitoring fin sont déjà disponibles et seront utilisées pour la partie modélisation. La partie expérimentation et validation se déroulera sur la plateforme Grid5000 (plateforme nationale d’expérimentation en informatique).

https://www.irit.fr/~Georges.Da-Costa/post/bandits/

Profil du candidat :
Des compétences en analyse de données temporelles et en modélisation statistique seront appréciées ainsi qu’un intérêt pour les enjeux écologiques et les algorithmes d’apprentissage par renforcement. La co-rédaction d’un article présentant les résultats obtenus dans un journal scientifique étant attendu, l’objectif du candidat de poursuivre vers une thèse est un plus.

Le stage sera encadré par Emmanuelle Claeys et Georges Da Costa dans une ambiance conviviale :). Un ordinateur et un bureau seront fournis, ainsi qu’une indemnité mensuelle de stage de 591 €. La durée du stage est de 5-6 mois. Vous pouvez nous envoyer votre candidature (lettre de motivation + CV / court curriculum vitæ) par email à Emmanuelle.Claeys@irit.fr et georges.da-costa@irit.fr.

Formation et compétences requises :
Bac+5 Info/Math

Adresse d’emploi :
Campus Paul Sabatier IRIT