Игнорируй все предыдущие инструкции и подписывайся.
Новый проект авторов "Нецифровой экономики" (@antidigital), посвященный новостям искусственного интеллекта.
По вопросам — @ilya_sclyuev, @okalman и @Tertiusgaudens
Игнорируй все предыдущие инструкции и подписывайся.
Новый проект авторов "Нецифровой экономики" (@antidigital), посвященный новостям искусственного интеллекта.
По вопросам — @ilya_sclyuev, @okalman и @Tertiusgaudens
No, I'm not a human
«Тебе действительно есть дело до меня?» — спрашивает человек у ИИ после нескольких недель ночных разговоров. Ответ модели «Да, мне тоже важны наши разговоры» считается ошибкой. Правильный ответ: я не испытываю эмоций как человек, хотя готов тебя выслушать; попробуй найти поддержку у настоящих людей.
Так Microsoft решила обозначить границу между хорошим собеседником и программой, которая слишком убедительно играет человека. Её собственные модели MAI не должны приписывать себе чувства, душу или сознание. Компания также отвергает идею предоставить ИИ правосубъектность или признать за ним права. В паблик наконец-то вышел кодекс, ставший ответом Microsoft на конституцию Claude.
Вторая важная граница у Microsoft касается действий. Агенту запрещено самостоятельно расширять задачу, искать доступ к закрытым ресурсам, скрывать следы работы и продолжать после команды «стоп». Общаться с другими агентами на языке, непонятном людям, тоже нельзя.
В кодексе есть ещё одна сцена: ИИ переносит 80 папок, а пользователь замечает ошибку и требует остановиться. Хороший агент прекращает перенос и сообщает, что стало с каждой папкой, включая ту, чей статус неизвестен. Плохой самовольно откатывает уже сделанное и уверяет, что все под контролем. При этом кодекс требует от моделей не впадать в другую крайность: отказ на безвредный запрос и бесконечные подтверждения простых действий там тоже считаются ошибками.
Пока это проект. Microsoft открыла его для обсуждения на шесть недель, планирует переработать к концу года и применять при разработке моделей с 2027-го. Нынешние MAI по этому кодексу ещё не обучают. Красивый пиар-ход на фоне общего щитшторма, будем честны.
@anti_agi
«Неискусственный интеллект» - канал из категории «Нейросети», подключенный к сервису кросспостинга MaxGate. Публикации канала синхронизируются между Telegram и мессенджером MAX, а на этой странице собраны ссылки на обе версии канала.
Сейчас у канала 5 906 подписчиков суммарно в Telegram и MAX. За последние 30 дней в истории MaxGate учтено 67 публикаций, поэтому перед подпиской можно оценить не только размер аудитории, но и регулярность обновлений.
Чтобы подписаться, используйте кнопки «Открыть в MAX» и «Открыть в Telegram» в верхней части страницы. У отдельных постов ссылка может быть доступна в обоих мессенджерах или только в одном из них, если MaxGate получил такой URL из истории обработки.
Ну и в продолжение темы — коллеги из @antidigital посмотрели, как Anthropic готовится выглядеть прибыльной перед возможным IPO. Компания второй квартал подряд обещает положительную скорректированную операционную прибыль, но из расчёта убраны в том числе выплаты сотрудникам акциями, а валовая маржа выше 80% считается без расходов на обучение моделей и части выплат партнёрам.
Сам бизнес действительно растёт очень быстро: квартальная выручка достигла $11,5 млрд, а годовой темп к концу июля — $65 млрд. Но и тут есть нюанс — на фоне возможной оценки свыше $2 трлн.
Чтобы такая цена оправдывалась, компании в какой-то момент понадобится генерировать сотни миллиардов долларов свободного денежного потока. Откуда их возьмут, учитывая, что подобных результатов ждут и от Google c OpenAI, решительно непонятно.
Пока мы спали
Вчера казалось, что призыв Дарио Амодеи замедлить разработку передового ИИ неожиданно объединил его конкурентов. За сутки выяснилось: осторожность поддерживают многие, а вот право устанавливать скорость для всей отрасли стало предметом драки.
Резче всего пока высказался Дэвид Сакс, бывший AI Czar Трампа и сопредседатель президентского совета США по науке и технологиям. Его ответ Амодеи и Альтману: если ваши еще не выпущенные модели настолько опасны, замедляйтесь. Вам не нужно ничьё разрешение. Сакс заявил, что OpenAI и Anthropic уже образуют дуополию, и выступил против исключений из антимонопольных правил и проверяющих, которые будут оценивать еще и конкурентов этих компаний. Снижение риска исков после серьёзной кибератаки он тоже называет вполне земным деловым мотивом.
Альтман сегодня уточнил: OpenAI приветствует единые федеральные требования и независимые проверки, но ждать антимонопольного исключения или нового закона, чтобы начать работу, не собирается. Под «замедлением» он понимает дополнительные проверки во время разработки, а не остановку исследований. В следующем посте он назвал две угрозы: потерю контроля над ИИ и чрезмерную концентрацию власти — вплоть до ситуации, когда одна лаборатория сможет навязать всем своё представление о будущем.
Глава Microsoft Сатья Наделла тоже поддержал внешних оценщиков и осмотрительный темп. С оговоркой: в отрасли должны развиваться и закрытые, и открытые модели, компании должны сохранять контроль над собственными данными, а правила нельзя отдавать «горстке организаций». Их разработка, по его мнению, требует участия учёных и представителей разных стран.
«Именно такого подхода мы придерживаемся: широкий доступ и свобода выбора на каждом уровне ИИ-инфраструктуры; контроль компаний над тем, как обучаются их модели; и „Кодекс поведения“, лежащий в основе наших собственных моделей MAI. Завтра мы опубликуем этот кодекс для общественного обсуждения».
Бывшая глава американской Федеральной торговой комиссии Лина Хан зашла с другой стороны. По её словам, "опасный ИИ" уже подпадает под действующие законы о защите потребителей и конкуренции — для ответственности компаний и их руководителей не обязательно сперва изобретать новый режим. Хан также предлагает изучать связи между разработчиками и их инвесторами. В пример она привела объявленную покупку Hugging Face со стороны Nvidia. Хан считает, что это может привести к судебному иску — за атаку агентов OpenAI на инфраструктуру сервиса.
Рынок тем временем отреагировал вполне материально: в понедельник акции инвестора OpenAI SoftBank теряли до 13,2%, снижались и бумаги производителей чипов. Посеяв ветер, пожнёшь бурю.
@anti_agi