云服务器设置防爬虫功能可以通过以下几种技术手段实现：

1、使用Web应用防火墙（WAF）：

WAF能够智能分析HTTP/HTTPS请求并阻止恶意流量，包括识别和阻止爬虫请求。许多云服务提供商（如阿里云、腾讯云、AWS、Cloudflare）提供了自带的WAF服务。

配置WAF时，可以设置黑名单/白名单IP、分析User Agent、速率限制和行为分析等规则来阻止爬虫。

2、通过robots.txt限制合法爬虫：

robots.txt文件用于告诉搜索引擎爬虫哪些页面可以抓取，哪些页面不可以抓取。虽然无法阻止恶意爬虫，但它对遵循规则的合法爬虫有效。

3、使用CAPTCHA验证：

CAPTCHA（如谷歌reCAPTCHA）通过让用户完成简单的验证任务来区分人类和机器人，可以在登录页、注册页、评论区或敏感内容的访问前添加CAPTCHA验证。

4、速率限制：

限制单个IP在一定时间内的访问次数，防止过多的请求涌入。

5、IP黑名单和地理位置限制：

阻止特定IP或地区的访问。

6、User Agent过滤：

根据User Agent阻止常见爬虫。

7、混淆输出：

通过动态加载或输出干扰增加爬虫抓取难度。

8、日志分析：

通过日志监控及时发现并封禁恶意IP。

9、配置Nginx或Apache等Web服务器：

在Web服务器的配置文件中设置防爬虫规则，如User-Agent过滤和IP访问频率限制。

10、设置CC攻击防护：

在WAF或服务器配置中设置CC攻击防护，防止恶意爬虫通过模拟正常用户行为进行攻击。

11、网络层防御：

在网络层面，设置安全组规则，仅允许特定IP地址或IP地址段访问服务器。

请根据你的具体需求进行调整，过度的限制可能会影响正常用户的使用体验。同时，随着爬虫技术的不断进步，防爬虫措施也需要不断地更新和优化。