Hướng dẫn từng bước để tích hợp LLM không kiểm duyệt

Tại sao nên dùng điểm cuối tương thích OpenAI cho các mô hình không kiểm duyệt?

Sử dụng điểm cuối tương thích OpenAI loại bỏ đường cong học tập khi tích hợp các mô hình đã được loại bỏ kiểm duyệt. Bạn đã biết các SDK. Bạn đã biết các tham số. Hầu hết các nhà cung cấp lớn bắt buộc bạn phải học các cấu trúc JSON mới hoặc sử dụng các thư viện độc quyền. Ở đây, bạn gửi một tải trọng chat-completions tiêu chuẩn. Sự khác biệt nằm ở URL cơ sở và ID mô hình. Bạn nhận được phản hồi văn bản thô, không được lọc. Không có lớp kiểm duyệt ẩn nào chặn việc viết sáng tạo hoặc các kịch bản nhập vai của bạn. Sự tương thích này có nghĩa là bạn có thể thay thế các khả năng không kiểm duyệt mà không cần viết lại toàn bộ logic ứng dụng của mình.

Điều kiện tiên quyết: Cài đặt SDK và đặt khóa API

Bắt đầu bằng cách cài đặt SDK chính thức cho ngôn ngữ bạn muốn. Đối với Python, sử dụng pip. Đối với JavaScript, sử dụng npm. Bạn cần một khóa API hợp lệ từ bảng điều khiển. Không cần số điện thoại. Chỉ cần email hoặc đăng nhập Google. Nhận khóa của bạn ngay sau khi đăng ký. Nó xuất hiện trên màn hình. Lưu trữ nó một cách bảo mật. Không mã hóa cứng nó trong mã sản xuất. Sử dụng các biến môi trường. Điều này giữ cho thông tin đăng nhập của bạn an toàn trong khi bạn kiểm tra tích hợp cục bộ. Khóa cấp quyền truy cập vào mô hình không kiểm duyệt duy nhất. Đó là tất cả những gì bạn cần để bắt đầu gửi yêu cầu.

Bước 1: Cấu hình URL cơ sở cho điểm cuối không kiểm duyệt

Điểm SDK client của bạn đến URL gốc chính xác. Điểm cuối OpenAI mặc định không phải là nơi mô hình không kiểm duyệt của bạn tồn tại. Bạn phải chỉ định https://api.aiabliterated.cc/v1. Điều này cho SDK biết nơi gửi các yêu cầu POST của bạn. Nếu không có thay đổi này, bạn sẽ truy cập vào các máy chủ OpenAI tiêu chuẩn. Họ có các mô hình và giá cả khác nhau. Điểm cuối của chúng tôi phục vụ mô hình ngôn ngữ lớn uncensored cụ thể. Nó được tinh chỉnh cho mục đích người lớn. Nó bỏ qua các bộ lọc nội dung tiêu chuẩn. Đảm bảo cấu hình máy khách của bạn chính xác trước khi gửi bất kỳ dữ liệu nào. Bước này rất quan trọng để nhận được định dạng phản hồi đúng.

Bước 2: Gửi yêu cầu chat completion đầu tiên của bạn

Gửi yêu cầu POST đến /v1/chat/completions. Đặt tham số model thành "uncensored". Đây là ID model duy nhất có sẵn. Bao gồm prompt hệ thống và tin nhắn của người dùng của bạn. API trả về phản hồi dạng văn bản. Nó không từ chối nội dung người lớn hợp pháp. Nó không chặn các chủ đề gây tranh cãi. Phản hồi là văn bản thuần túy. Bạn nhận được dữ liệu sử dụng token trong chunk cuối cùng nếu streaming. Nếu bạn không streaming, bạn nhận được toàn bộ văn bản trong một lần. Cửa sổ ngữ cảnh là 100.000 token. Bạn có thể viết những câu chuyện dài. Bạn có thể dán các khối mã lớn. Model xử lý tất cả.

Bước 3: Bật streaming để hiển thị token thời gian thực

Streaming rất quan trọng cho trải nghiệm người dùng tốt. Đặt tham số stream thành true. API trả về các đoạn văn bản. Mỗi đoạn chứa một phản hồi một phần. Bạn có thể hiển thị các token này theo thời gian thực. Điều này làm cho ứng dụng cảm thấy nhanh. Chunk cuối cùng bao gồm thống kê sử dụng token đầy đủ. Điều này bao gồm token đầu vào và đầu ra. Bạn cần dữ liệu này để tính phí và giám sát. Không có streaming, người dùng chờ đợi toàn bộ phản hồi. Với streaming, họ thấy tiến trình. Nó tốt hơn cho việc viết sáng tạo dài. Nó tốt hơn cho việc gỡ lỗi. Bật nó theo mặc định trong client của bạn.

Bước 4: Xử lý việc gọi hàm và sử dụng công cụ

Bạn có thể sử dụng gọi hàm với mô hình không bị lọc. Xác định các công cụ của bạn trong yêu cầu. Mô hình sẽ trả về các lệnh gọi công cụ dưới dạng JSON. Bạn thực thi công cụ. Bạn gửi kết quả trở lại. Mô hình tiếp tục cuộc trò chuyện. Điều này hoạt động chính xác như API OpenAI. Bạn không cần trình phân tích tùy chỉnh. Mô hình hiểu lược đồ công cụ. Nó trả về JSON hợp lệ. Bạn có thể xây dựng các đại lý. Bạn có thể tự động hóa các nhiệm vụ. Mô hình không từ chối gọi các công cụ cho các chức năng người lớn. Nó tuân thủ hướng dẫn một cách chính xác. Điều này rất mạnh mẽ cho các quy trình làm việc phức tạp.

Bước 5: Tối ưu hóa hiệu suất với chế độ JSON

Buộc mô hình xuất ra JSON hợp lệ. Đặt tham số response_format thành json_object. Điều này giảm lỗi phân tích cú pháp. Nó đảm bảo mã của bạn nhận được dữ liệu có cấu trúc. Điều này hữu ích để trích xuất thông tin. Nó hữu ích để tạo tệp cấu hình. Mô hình ở chế độ JSON cho đến khi bạn chuyển đổi nó. Điều này nhanh hơn việc yêu cầu JSON một cách tự nhiên. Mô hình hiểu ràng buộc này. Nó ưu tiên cấu trúc hơn luồng văn bản. Điều này lý tưởng cho các dịch vụ backend. Nó giảm nhu cầu làm sạch bằng regex. Nó làm cho tích hợp của bạn mạnh mẽ hơn. Hãy sử dụng khi bạn cần định dạng dữ liệu nghiêm ngặt.

Bước 6: Quản lý giới hạn tốc độ và thử lại

Hãy tôn trọng các giới hạn tốc độ. Bạn được 300 yêu cầu mỗi phút trên mỗi khóa. Bạn có thể có 8 yêu cầu đồng thời. Thân yêu cầu giới hạn ở 8 MB. Nếu bạn vượt quá các giới hạn này, bạn sẽ nhận được lỗi. Hãy triển khai cơ chế backoff theo cấp số nhân trong mã của bạn. Đừng gửi yêu cầu liên tục vào điểm cuối. Điều này đảm bảo hiệu suất ổn định. Bạn có thể tạo khóa mới nếu cần. Một khóa hoạt động trên mỗi tài khoản. Khóa mới sẽ thay thế khóa cũ. Điều này hữu ích cho việc xoay khóa. Nó giữ cho dịch vụ của bạn hoạt động trơn tru. Hãy theo dõi mức sử dụng của bạn. Chunk stream cuối cùng cho bạn biết số lượng token. Sử dụng điều này để theo dõi chi tiêu của bạn. Thanh toán bằng tiền điện tử giúp việc này trở nên dễ dàng.

Khắc phục các lỗi tích hợp phổ biến

Nếu bạn nhận lỗi 401, hãy kiểm tra khóa API của bạn. Nó phải hợp lệ. Nếu bạn nhận lỗi 404, hãy kiểm tra URL cơ sở. Nó phải chính xác. Nếu bạn nhận lỗi 429, bạn đã vượt quá giới hạn tốc độ. Hãy chờ và thử lại. Nếu bạn nhận lỗi 500, máy chủ đã gặp lỗi. Hãy thử lại một lần. Kiểm tra ID mô hình của bạn. Nó phải là "uncensored". Kiểm tra phần tải trọng của bạn. Nó phải là JSON hợp lệ. Đảm bảo bạn không gửi các tham số không được hỗ trợ. API này không hỗ trợ hình ảnh hoặc âm thanh. Nó không hỗ trợ tinh chỉnh. Hãy sử dụng điểm cuối chat-completions. Điều này giữ cho mọi thứ đơn giản. Lỗi thường là vấn đề cấu hình. Sửa chúng nhanh chóng. Quay lại với việc tạo nội dung.