Cloudflare-ஆல் சிக்கிய Perplexity: AI ஸ்கிராப்பிங் சர்ச்சையின் விரிவான ரிப்போர்ட்

Cloudflare, ஒரு இணைய உள்கட்டமைப்பு நிறுவனம், Perplexity-ஐ இணையதளங்களின் உள்ளடக்கத்தை அங்கீகரிக்கப்படாத வகையில் ஸ்கிராப் (scrape) செய்வதாகக் குற்றம் சாட்டியுள்ளது. இந்த விவகாரம், இணையத்தில் உள்ளடக்கத்தை AI கருவிகள் எவ்வாறு அணுக வேண்டும் என்பது குறித்து பரவலான விவாதத்தை ஏற்படுத்தியுள்ளது.

Cloudflare-இன் முக்கிய குற்றச்சாட்டுகள்:

• robots.txt ஐ புறக்கணித்தல்: இணையதள உரிமையாளர்கள் தங்கள் தளங்களுக்குள் எந்தெந்த பகுதிகளை அணுகலாம் அல்லது அணுகக்கூடாது என்பதை ரோபோக்களுக்கு (bots) robots.txt என்ற கோப்பின் மூலம் தெரிவிக்கின்றனர். Cloudflare, Perplexity அதன் அதிகாரப்பூர்வமான போட்களைப் பயன்படுத்தும் போது இந்த robots.txt விதிகளைப் புறக்கணிப்பதாகக் கூறுகிறது.
• போட்களின் அடையாளத்தை மறைத்தல்: Perplexity-இன் போட்கள் தடை செய்யப்படும்போது, அவை தங்கள் அடையாளத்தை மறைத்து, Chrome உலாவியைப் போல உருமாற்றிக்கொள்கின்றன. இதன் மூலம், அவை அங்கீகரிக்கப்படாத இணையதளங்களுக்குள் நுழைந்து உள்ளடக்கத்தைச் சேகரிக்கின்றன என்று Cloudflare குற்றம் சாட்டுகிறது.
• IP முகவரிகளை மாற்றுதல்: இந்த ரகசியமான செயல்பாட்டிற்காக, Perplexity-இன் போட்கள், Cloudflare-க்குத் தெரியாத மற்றும் அதிகாரப்பூர்வமாக அறிவிக்கப்படாத பல IP முகவரிகளைப் பயன்படுத்தி, தங்களுக்கு எதிராக உள்ள தடையைத் தவிர்ப்பதாக Cloudflare கூறுகிறது.

Perplexity-இன் மறுப்பு:

Cloudflare-இன் குற்றச்சாட்டுகளை Perplexity நிறுவனம் கடுமையாக மறுத்துள்ளது. ஒரு செய்தித்தொடர்பாளர், Cloudflare-இன் குற்றச்சாட்டுகளை “விற்பனை தந்திரம்” (sales pitch) என்று விவரித்துள்ளார். மேலும், இந்த சர்ச்சை குறித்து Perplexity முன்வைத்த முக்கிய வாதங்கள்:

• பாரம்பரிய போட்களைப் போன்றது அல்ல: Perplexity-இன் AI உதவியாளர்கள் பாரம்பரிய தேடுபொறி போட்களைப் போல மொத்த இணையத்தையும் ஸ்கிராப் செய்யவில்லை. மாறாக, ஒரு பயனர் ஒரு குறிப்பிட்ட கேள்வியைக் கேட்கும் போது மட்டுமே, அதற்குத் தேவையான உள்ளடக்கத்தை நிகழ்நேரத்தில் (real-time) சேகரிப்பதாக அது கூறுகிறது.
• பயனர் சார்ந்த செயல்பாடு: ஒரு பயனர் கேட்கும் கேள்விகளுக்குப் பதில் அளிக்க மட்டுமே இந்தச் செயல்பாடு நடைபெறுகிறது என்றும், சேகரிக்கப்பட்ட உள்ளடக்கம் AI மாடல்களுக்குப் பயிற்சி அளிக்கப் பயன்படுத்தப்படுவதில்லை என்றும் Perplexity வாதிடுகிறது.
• மூன்றாம் தரப்பு சேவை: Cloudflare குற்றம் சாட்டியுள்ள சில செயல்பாடுகள், BrowserBase போன்ற மூன்றாம் தரப்பு சேவைகள் மூலமாக நடந்தது என்றும், அவை மிகக் குறைந்த எண்ணிக்கையிலான கோரிக்கைகளாக மட்டுமே இருந்தன என்றும் Perplexity தெளிவுபடுத்தியுள்ளது.

சர்ச்சையின் பின்னணி:

AI நிறுவனங்கள் உள்ளடக்கத்தை எவ்வாறு பயன்படுத்துகின்றன என்பது குறித்து இணையத்தில் ஏற்கனவே பல விவாதங்கள் நடந்துள்ளன. இந்தச் சர்ச்சையானது, இணையதள உரிமையாளர்களின் உள்ளடக்கக் கட்டுப்பாட்டு உரிமைகள், AI-இன் தரவுத் தேவைகள் மற்றும் தொழில்நுட்பத் தார்மீக நெறிகள் (ethics) போன்ற பல கேள்விகளை எழுப்பியுள்ளது. இதன் விளைவாக, Cloudflare, Perplexity-இன் போட்களை ‘சரிபார்க்கப்பட்ட போட்கள்’ (verified bots) பட்டியலில் இருந்து நீக்கி, அவற்றை எதிர்காலத்தில் தடுக்க புதிய விதிகளை அறிமுகப்படுத்தியுள்ளது.