شرکت‌های OpenAI، Google، Microsoft و Anthropic اعلام کردند که استاندارد جدیدی را برای جلوگیری از اسکرپ محتوای وب‌سایت‌ها توسط هوش مصنوعی اتخاذ خواهند کرد. این استاندارد جدید که به صورت مشترک پیشنهاد شده، به ناشران این امکان را می‌دهد تا ترجیحات خود را برای آموزش هوش مصنوعی به چندین شرکت مختلف اعلام کنند، بدون اینکه نیاز باشد این تنظیمات را به صورت جداگانه برای هر شرکت انجام دهند.
استاندارد جدید برای جلوگیری از اسکرپ محتوای وب‌سایت‌ها توسط هوش مصنوعی چیست؟
این استاندارد جدید که با نام «policy token» شناخته می‌شود، توسط Kevin Kelley، سرپرست فنی استانداردها در Anthropic، به عنوان بخشی از Internet Engineering Task Force (IETF) پیشنهاد شده است. این سیگنال مشترک در فایل robots.txt وب‌سایت قرار می‌گیرد؛ همان فایلی که از دیرباز مشخص می‌کرد کدام خزنده‌های وب می‌توانند محتوای یک سایت را برای اهداف مختلف مانند نمایه‌سازی جستجو، آرشیو یا آموزش هوش مصنوعی اسکرپ کنند یا نکنند.
در حال حاضر، سایت‌ها باید ترجیحات آموزش هوش مصنوعی خود را به صورت جداگانه به هر شرکت هوش مصنوعی اعلام کنند. اما با این استاندارد جدید، ناشران می‌توانند یک بار ترجیحات خود را تنظیم کنند و آن را برای چندین سرویس‌دهنده اعمال کنند.
💡 خرید اکانت چت جی پی تی — ChatGPT و Claude بدون فیلترشکن و با پرداخت تومانی
واکنش شرکت‌ها به استاندارد جدید
شرکت‌های OpenAI، Google، Microsoft و Anthropic اعلام کرده‌اند که در صورت مشاهده این سیگنال مشترک، خزنده‌های هوش مصنوعی خود را از دسترسی به آن سایت محدود می‌کنند. همچنین Meta نیز حمایت خود را از این تنظیمات جدید اعلام کرده است، هرچند مشخص نکرده که آیا به آن پایبند خواهد بود یا خیر.
«ما معتقدیم ایجاد یک سیگنال مشترک که چنین ترجیحاتی را به طور همزمان به چندین سرویس‌دهنده منتقل کند، گامی مهم است. و ما مشتاقانه منتظر همکاری با سایر شرکت‌های هوش مصنوعی در زمینه استانداردها و اجرای آن در سراسر صنعت هستیم.» — Andy Stone، رئیس ارتباطات Meta
Microsoft اعلام کرده است که کنترل‌های دقیقی ارائه می‌دهد که به ناشران امکان می‌دهد از آموزش هوش مصنوعی یا «AI grounding» (فرایند اشاره یک مدل هوش مصنوعی به یک منبع اطلاعاتی تأیید شده برای کاهش توهم) انصراف دهند. این شرکت خاطرنشان می‌کند که وب‌سایت‌ها همچنان در نتایج جستجوی Bing ظاهر خواهند شد، صرف‌نظر از ترجیحاتشان.
Google پیش از این کنترل‌های مشابهی را اجرا کرده بود که به سایت‌ها اجازه می‌دهد کنترل کنند آیا محتوایشان در ویژگی‌های جستجوی هوش مصنوعی ظاهر می‌شود یا برای آموزش هوش مصنوعی استفاده می‌شود، بدون اینکه بر دیدگاه جستجو تأثیر بگذارد.
💡 خرید API هوش مصنوعی Claude و GPT — کلید API با شارژ تومانی و قیمت مناسب
زمان‌بندی اجرای استاندارد جدید برای جلوگیری از اسکرپ محتوای وب‌سایت‌ها توسط هوش مصنوعی
در حالی که Anthropic قبلاً این سیگنال را پذیرفته است، Google و Microsoft قصد دارند در سال آینده از آن پشتیبانی کنند. OpenAI اعلام کرده است که آن را در «ماه‌های آینده» اجرا خواهد کرد.
این اعلامیه در زمانی منتشر می‌شود که ناشران با هجوم مداوم خزنده‌های هوش مصنوعی که سایت‌هایشان را اسکرپ می‌کنند و محتوایشان را به مدل‌های هوش مصنوعی تغذیه می‌کنند، دست و پنجه نرم می‌کنند. برخی شرکت‌ها و سازمان‌ها تلاش کرده‌اند با اسکرپ غیرمجاز مقابله کنند؛ برای مثال استاندارد Really Simple Licensing (RSL) به ناشران امکان می‌دهد از خزنده‌هایی که از سایت‌هایشان بازدید می‌کنند هزینه دریافت کنند، و Cloudflare به طور پیش‌فرض خزنده‌های هوش مصنوعی را مسدود می‌کند.
چرا این خبر مهم است؟
این استاندارد جدید برای کاربران و توسعه‌دهندگان ایرانی نیز اهمیت دارد. با توجه به رشد روزافزون استفاده از هوش مصنوعی در ایران، ناشران محتوای فارسی می‌توانند از این استاندارد برای کنترل نحوه استفاده از محتوایشان در آموزش مدل‌های هوش مصنوعی استفاده کنند. این امر به حفظ حقوق مالکیت معنوی و کنترل بر نحوه توزیع محتوا کمک می‌کند.
💡 لیست مدل‌ها و قیمت API هوش مصنوعی — همه مدل‌های OpenAI، Anthropic و Google در یک‌جا
همچنین توسعه‌دهندگانی که وب‌سایت یا اپلیکیشن دارند، می‌توانند با پیاده‌سازی این استاندارد، از اسکرپ ناخواسته محتوایشان جلوگیری کنند و در عین حال از حضور در نتایج جستجو بهره‌مند شوند. این استاندارد گامی به سوی شفافیت بیشتر و احترام به ترجیحات ناشران در اکوسیستم هوش مصنوعی است.
جمع‌بندی
استاندارد جدید برای جلوگیری از اسکرپ محتوای وب‌سایت‌ها توسط هوش مصنوعی، با حمایت شرکت‌های بزرگ فناوری، می‌تواند تحولی در نحوه تعامل ناشران با خزنده‌های هوش مصنوعی ایجاد کند. این استاندارد به ناشران کنترل بیشتری بر محتوای خود می‌دهد و امکان می‌دهد ترجیحات خود را به سادگی و به صورت یکپارچه به چندین سرویس‌دهنده اعلام کنند.
نظرات
هنوز نظری ثبت نشده؛ اولین نفر باشید.