Система AI Scientist-v2 от компании Sakana AI успешно прошла процесс рецензирования на семинаре международной конференции ICLR, создав научную работу. Статья под названием ‘Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization’ целью которой стали негативные аспекты метода регуляризации нейронных сетей, получила оценку 6,33 балла, что чуть выше порога принятия.
Интересно, что рецензенты не знали о том, что работа была сгенерирована искусственным интеллектом, хотя были предупреждены о возможности такой ситуации. В процессе разработки статьи AI Scientist-v2 самостоятельно сформулировал научную гипотезу, предложил эксперименты, сгенерировал код и провел исследование.
Работа была представлена на семинаре, где показатели приема значительно выше, чем на основной части конференции — 60-70% против 20-30%. Однако Sakana AI признала, что ни одна из трех представленных работ не соответствовала критериям для принятия на основные секции ICLR. В результате, после рецензирования, статья была отозвана в согласии с организаторами конференции, поскольку научное сообщество пока не разработало стандартов для оценивания материалов, созданных ИИ.
Результаты внутренней проверки показали, что AI Scientist-v2 иногда допускал ошибки в цитировании, неправильно указывая авторов и годы публикаций. Это подчеркивает необходимость дальнейших исследований к качеству научных работ, созданных с помощью ИИ.
Представители Sakana AI отметили, что это первый случай, когда полностью созданная с помощью ИИ статья прошла стандартный процесс рецензирования. “Мы считаем, что важно изучать качество исследований, созданных с помощью ИИ, и одним из лучших способов является предоставление образца для строгих процессов рецензирования, применяемых к работам, созданным человеком”, – заявили они.
Ранее в этом году профессор Университета Цинхуа также продемонстрировал способности ИИ, написав и проиллюстрировав книгу всего за три часа, за что получил национальную премию в области научной фантастики. Данные публикации подчеркивают растущий интерес и вызовы, с которыми сталкивается научное сообщество, изучая интеграцию ИИ в научные исследования.