Nemotron-4-340B-Instruct: Mô hình ngôn ngữ lớn cho thế hệ dữ liệu tổng hợp

Giới thiệu

Nemotron-4-340B-Instruct là mô hình ngôn ngữ lớn (LLM) tiên tiến, đóng vai trò then chốt trong quy trình tạo dữ liệu tổng hợp. Mô hình này hỗ trợ các nhà nghiên cứu và phát triển xây dựng LLM riêng bằng cách cung cấp dữ liệu huấn luyện chất lượng cao.

Là phiên bản tinh chỉnh từ Nemotron-4-340B-Base, Nemotron-4-340B-Instruct được tối ưu hóa cho các trường hợp sử dụng trò chuyện đơn lẻ và đa lượt bằng tiếng Anh, hỗ trợ ngữ cảnh lên đến 4.096 token.

Ưu điểm vượt trội

  • Huấn luyện trên kho dữ liệu khổng lồ: Nemotron-4-340B-Base được huấn luyện dựa trên 9 nghìn tỷ token, bao gồm văn bản tiếng Anh đa dạng, hơn 50 ngôn ngữ tự nhiên và hơn 40 ngôn ngữ lập trình.
  • Tinh chỉnh nâng cao: Nemotron-4-340B-Instruct trải qua các bước căn chỉnh bổ sung như Tinh chỉnh Giám sát (SFT), Tối ưu hóa Sở thích Trực tiếp (DPO) và Tối ưu hóa Sở thích Nhận thức Phần thưởng (RPO) – một kỹ thuật căn chỉnh nội bộ độc đáo.
  • Tạo dữ liệu tổng hợp hiệu quả: Hơn 98% dữ liệu được sử dụng cho SFT và DPO/RPO được tổng hợp tự động, giảm thiểu đáng kể sự phụ thuộc vào dữ liệu chú thích thủ công (chỉ khoảng 20 nghìn).
  • Khả năng tùy chỉnh linh hoạt: Nemotron-4-340B-Instruct có thể được tùy chỉnh thêm bằng bộ công cụ NeMo Framework, bao gồm Tinh chỉnh Tham số Hiệu quả (P-tuning), Adapters, LoRA, và Căn chỉnh Mô hình (SFT, SteerLM, RLHF,…).

Ứng dụng

Nemotron-4-340B-Instruct được thiết kế cho:

  • Tạo Dữ liệu Tổng hợp: Cho phép nhà phát triển và doanh nghiệp xây dựng và tùy chỉnh LLM và ứng dụng LLM của riêng họ.
  • Trò chuyện: Tối ưu cho các cuộc trò chuyện bằng tiếng Anh.
  • Nâng cao khả năng: Cho thấy sự cải thiện đáng kể về lập luận toán học, viết mã và tuân theo hướng dẫn.

Thông tin bổ sung

  • Giấy phép: NVIDIA Open Model License (cho phép sử dụng thương mại, tạo và phân phối Mô hình Phái sinh)
  • Nhà phát triển: NVIDIA
  • Thời gian huấn luyện: Từ tháng 12 năm 2023 đến tháng 5 năm 2024.
  • Cập nhật dữ liệu: Dữ liệu huấn luyện được cập nhật đến tháng 6 năm 2023.
  • Yêu cầu phần cứng: 8x H200, 16x H100, hoặc 16x A100 80GB cho suy luận BF16.
  • Kiến trúc: Bộ giải mã Transformer tiêu chuẩn, độ dài chuỗi 4096 token, sử dụng Grouped-Query Attention (GQA) và Rotary Position Embeddings (RoPE).

Kết luận

Nemotron-4-340B-Instruct là một mô hình ngôn ngữ lớn mạnh mẽ và linh hoạt, mở ra cánh cửa cho việc tạo dữ liệu tổng hợp chất lượng cao, thúc đẩy sự phát triển của các ứng dụng LLM thế hệ mới.

Khám phá Nemotron-4-340B-Instruct ngay hôm nay trên build.nvidia.com!