Дослідники зі Стенфордського та Вашингтонського університетів змогли навчити модель штучного інтелекту, здатну міркувати на рівні o1 від OpeanAI, всього за $50. Про це пише TechCrunch.
Модель отримала назву s1, вона демонструє такі ж результати у тестах, як і найсучасніші моделі міркувань, такі як o1 від OpenAI та R1 від DeepSeek. Модель s1 доступна на GitHub, разом з даними та кодом, які використовуються для її навчання.
Команда розробників s1 повідомила, що вони почали з вже готової базової моделі, а потім удосконалили її за допомогою дистиляції — процесу, який полягає в отриманні міркувальних здібностей з іншої моделі ШІ через навчання на її відповідях. За словами дослідників, для навчання s1 було використано 16 графічних процесорів NVIDIA H100 та витрачено близько 30 хвилин.
Модель s1 базується на невеликій, готовій моделі ШІ від китайської лабораторії ШІ Qwen, що належить Alibaba, та навченій на основі моделі міркувань Gemini 2.0 Flash Thinking Experimental.
Дослідники доповідають, що моделі міркувань можуть бути отримані з відносно невеликого набору даних за допомогою процесу, який називається контрольованим точним налаштуванням (SFT), в якому ШІ-моделі явно дається вказівка імітувати певну поведінку в наборі даних.
Ідея про те, що кілька дослідників без мільйонів доларів фінансування все ще можуть впроваджувати інновації в галузі ШІ, дійсно захоплює. Але s1 піднімає важливі питання щодо комерціалізації моделей ШІ, а також того, що зараз будь-хто може точно відтворити багатомільйонну модель за невеликі гроші.
У 2025 році Meta, Google і Microsoft планують інвестувати сотні мільярдів доларів в інфраструктуру ШІ, які частково підуть на навчання моделей ШІ наступного покоління. Дистиляція виявилася хорошим методом для дешевого відтворення можливостей штучного інтелекту, але вона не створює нові моделі ШІ, кращі за ті, що вже існують.