Micosoft a dévoilé le nouveau SLM open-source, Phi 2, sur son blog officiel mercredi.
Phi 2 est un modèle de 2,7 milliards de paramètres. Il intègre des connaissances scientifiques et des datasets exclusifs de Microsoft, a déclaré l’entreprise. Il a été entraîné pendant environ deux semaines à l’aide de 96 processeurs graphiques (GPU) NVIDIA A100.
Selon les chercheurs, Pie 2 n’a pas fait l’objet d’un apprentissage par renforcement comme ChatGPT d’OpenAI. Malgré cela, les tests montrent qu’il est moins sujet aux hallucinations et aux biais que son prédécesseur, Phi 1.5, et que Lama 2 de Meta.
