c# - मैं एन्कोडिंग मैन्युअल रूप से निर्दिष्ट किए बिना सी#में तारों का लगातार बाइट प्रतिनिधित्व कैसे प्राप्त करूं?




.net string (25)

मैन्युअल रूप से एक विशिष्ट एन्कोडिंग निर्दिष्ट किए बिना मैं string को एक byte[] में .NET (C #) में कैसे परिवर्तित करूं?

मैं स्ट्रिंग एन्क्रिप्ट करने जा रहा हूँ। मैं इसे परिवर्तित किए बिना एन्क्रिप्ट कर सकता हूं, लेकिन मैं अभी भी जानना चाहता हूं कि यहां एन्कोडिंग क्यों खेलती है।

इसके अलावा, एन्कोडिंग को क्यों ध्यान में रखा जाना चाहिए? क्या मैं बस स्ट्रिंग को संग्रहीत करने वाले बाइट्स को नहीं प्राप्त कर सकता हूं? चरित्र एन्कोडिंग पर निर्भरता क्यों है?


Answers

The closest approach to the OP's question is Tom Blodget's, which actually goes into the object and extracts the bytes. I say closest because it depends on implementation of the String Object.

"Can't I simply get what bytes the string has been stored in?"

Sure, but that's where the fundamental error in the question arises. The String is an object which could have an interesting data structure. We already know it does, because it allows unpaired surrogates to be stored. It might store the length. It might keep a pointer to each of the 'paired' surrogates allowing quick counting. Etc. All of these extra bytes are not part of the character data.

What you want is each character's bytes in an array. And that is where 'encoding' comes in. By default you will get UTF-16LE. If you don't care about the bytes themselves except for the round trip then you can choose any encoding including the 'default', and convert it back later (assuming the same parameters such as what the default encoding was, code points, bug fixes, things allowed such as unpaired surrogates, etc.

But why leave the 'encoding' up to magic? Why not specify the encoding so that you know what bytes you are gonna get?

"Why is there a dependency on character encodings?"

Encoding (in this context) simply means the bytes that represent your string. Not the bytes of the string object. You wanted the bytes the string has been stored in -- this is where the question was asked naively. You wanted the bytes of string in a contiguous array that represent the string, and not all of the other binary data that a string object may contain.

Which means how a string is stored is irrelevant. You want a string "Encoded" into bytes in a byte array.

I like Tom Bloget's answer because he took you towards the 'bytes of the string object' direction. It's implementation dependent though, and because he's peeking at internals it might be difficult to reconstitute a copy of the string.

Mehrdad's response is wrong because it is misleading at the conceptual level. You still have a list of bytes, encoded. His particular solution allows for unpaired surrogates to be preserved -- this is implementation dependent. His particular solution would not produce the string's bytes accurately if GetBytes returned the string in UTF-8 by default.

I've changed my mind about this (Mehrdad's solution) -- this isn't getting the bytes of the string; rather it is getting the bytes of the character array that was created from the string. Regardless of encoding, the char datatype in c# is a fixed size. This allows a consistent length byte array to be produced, and it allows the character array to be reproduced based on the size of the byte array. So if the encoding were UTF-8, but each char was 6 bytes to accommodate the largest utf8 value, it would still work. So indeed -- encoding of the character does not matter.

But a conversion was used -- each character was placed into a fixed size box (c#'s character type). However what that representation is does not matter, which is technically the answer to the OP. So -- if you are going to convert anyway... Why not 'encode'?


यह आपकी स्ट्रिंग के एन्कोडिंग पर निर्भर करता है ( ASCII , UTF-8 , ...)।

उदाहरण के लिए:

byte[] b1 = System.Text.Encoding.UTF8.GetBytes (myString);
byte[] b2 = System.Text.Encoding.ASCII.GetBytes (myString);

एन्कोडिंग मामलों का एक छोटा सा नमूना क्यों:

string pi = "\u03a0";
byte[] ascii = System.Text.Encoding.ASCII.GetBytes (pi);
byte[] utf8 = System.Text.Encoding.UTF8.GetBytes (pi);

Console.WriteLine (ascii.Length); //Will print 1
Console.WriteLine (utf8.Length); //Will print 2
Console.WriteLine (System.Text.Encoding.ASCII.GetString (ascii)); //Will print '?'

एएससीआईआईआई विशेष पात्रों से निपटने के लिए सुसज्जित नहीं है।

आंतरिक रूप से, .NET ढांचा स्ट्रिंग का प्रतिनिधित्व करने के लिए UTF-16 का उपयोग करता है, इसलिए यदि आप बस सटीक बाइट्स प्राप्त करना चाहते हैं जो .NET उपयोग करता है, तो System.Text.Encoding.Unicode.GetBytes (...) उपयोग करें।

अधिक जानकारी के लिए .NET Framework (MSDN) में वर्ण एन्कोडिंग देखें।


एक string को byte सरणी में कनवर्ट करने के लिए सी #:

public static byte[] StrToByteArray(string str)
{
   System.Text.UTF8Encoding  encoding=new System.Text.UTF8Encoding();
   return encoding.GetBytes(str);
}

If you really want a copy of the underlying bytes of a string, you can use a function like the one that follows. However, you shouldn't please read on to find out why.

[DllImport(
        "msvcrt.dll",
        EntryPoint = "memcpy",
        CallingConvention = CallingConvention.Cdecl,
        SetLastError = false)]
private static extern unsafe void* UnsafeMemoryCopy(
    void* destination,
    void* source,
    uint count);

public static byte[] GetUnderlyingBytes(string source)
{
    var length = source.Length * sizeof(char);
    var result = new byte[length];
    unsafe
    {
        fixed (char* firstSourceChar = source)
        fixed (byte* firstDestination = result)
        {
            var firstSource = (byte*)firstSourceChar;
            UnsafeMemoryCopy(
                firstDestination,
                firstSource,
                (uint)length);
        }
    }

    return result;
}

This function will get you a copy of the bytes underlying your string, pretty quickly. You'll get those bytes in whatever way they are encoding on your system. This encoding is almost certainly UTF-16LE but that is an implementation detail you shouldn't have to care about.

It would be safer, simpler and more reliable to just call,

System.Text.Encoding.Unicode.GetBytes()

In all likelihood this will give the same result, is easier to type, and the bytes will always round-trip with a call to

System.Text.Encoding.Unicode.GetString()

It depends on what you want the bytes FOR

This is because, as Tyler so aptly said , "Strings aren't pure data. They also have information ." In this case, the information is an encoding that was assumed when the string was created.

Assuming that you have binary data (rather than text) stored in a string

This is based off of OP's comment on his own question, and is the correct question if I understand OP's hints at the use-case.

Storing binary data in strings is probably the wrong approach because of the assumed encoding mentioned above! Whatever program or library stored that binary data in a string (instead of a byte[] array which would have been more appropriate) has already lost the battle before it has begun. If they are sending the bytes to you in a REST request/response or anything that must transmit strings, Base64 would be the right approach.

If you have a text string with an unknown encoding

Everybody else answered this incorrect question incorrectly.

If the string looks good as-is, just pick an encoding (preferably one starting with UTF), use the corresponding System.Text.Encoding.???.GetBytes() function, and tell whoever you give the bytes to which encoding you picked.


You can use the following code for conversion between string and byte array.

string s = "Hello World";

// String to Byte[]

byte[] byte1 = System.Text.Encoding.Default.GetBytes(s);

// OR

byte[] byte2 = System.Text.ASCIIEncoding.Default.GetBytes(s);

// Byte[] to string

string str = System.Text.Encoding.UTF8.GetString(byte1);

खैर, मैंने सभी उत्तरों को पढ़ लिया है और वे एन्कोडिंग या सीरियलाइजेशन के बारे में एक थे जो अनपेक्षित सरोगेट छोड़ देता है।

यह खराब है जब स्ट्रिंग, उदाहरण के लिए, SQL सर्वर से आता है जहां इसे एक बाइट सरणी संग्रह से बनाया गया था, उदाहरण के लिए, एक पासवर्ड हैश। अगर हम इससे कुछ भी छोड़ देते हैं, तो यह एक अवैध हैश स्टोर करेगा, और अगर हम इसे एक्सएमएल में स्टोर करना चाहते हैं, तो हम इसे बरकरार रखना चाहते हैं (क्योंकि एक्सएमएल लेखक किसी भी अप्रयुक्त सरोगेट पर अपवाद छोड़ देता है)।

तो मैं ऐसे मामलों में बाइट एरे के Base64 एन्कोडिंग का उपयोग करता हूं, लेकिन हे, इंटरनेट पर सी # में इसका एक ही समाधान है, और इसमें इसमें बग है और यह केवल एक ही तरीका है, इसलिए मैंने बग तय कर लिया है और वापस लिखा है प्रक्रिया। यहां आप भविष्य के googlers हैं:

public static byte[] StringToBytes(string str)
{
    byte[] data = new byte[str.Length * 2];
    for (int i = 0; i < str.Length; ++i)
    {
        char ch = str[i];
        data[i * 2] = (byte)(ch & 0xFF);
        data[i * 2 + 1] = (byte)((ch & 0xFF00) >> 8);
    }

    return data;
}

public static string StringFromBytes(byte[] arr)
{
    char[] ch = new char[arr.Length / 2];
    for (int i = 0; i < ch.Length; ++i)
    {
        ch[i] = (char)((int)arr[i * 2] + (((int)arr[i * 2 + 1]) << 8));
    }
    return new String(ch);
}

Here is my unsafe implementation of String to Byte[] conversion:

public static unsafe Byte[] GetBytes(String s)
{
    Int32 length = s.Length * sizeof(Char);
    Byte[] bytes = new Byte[length];

    fixed (Char* pInput = s)
    fixed (Byte* pBytes = bytes)
    {
        Byte* source = (Byte*)pInput;
        Byte* destination = pBytes;

        if (length >= 16)
        {
            do
            {
                *((Int64*)destination) = *((Int64*)source);
                *((Int64*)(destination + 8)) = *((Int64*)(source + 8));

                source += 16;
                destination += 16;
            }
            while ((length -= 16) >= 16);
        }

        if (length > 0)
        {
            if ((length & 8) != 0)
            {
                *((Int64*)destination) = *((Int64*)source);

                source += 8;
                destination += 8;
            }

            if ((length & 4) != 0)
            {
                *((Int32*)destination) = *((Int32*)source);

                source += 4;
                destination += 4;
            }

            if ((length & 2) != 0)
            {
                *((Int16*)destination) = *((Int16*)source);

                source += 2;
                destination += 2;
            }

            if ((length & 1) != 0)
            {
                ++source;
                ++destination;

                destination[0] = source[0];
            }
        }
    }

    return bytes;
}

It's way faster than the accepted anwser's one, even if not as elegant as it is. Here are my Stopwatch benchmarks over 10000000 iterations:

[Second String: Length 20]
Buffer.BlockCopy: 746ms
Unsafe: 557ms

[Second String: Length 50]
Buffer.BlockCopy: 861ms
Unsafe: 753ms

[Third String: Length 100]
Buffer.BlockCopy: 1250ms
Unsafe: 1063ms

In order to use it, you have to tick "Allow Unsafe Code" in your project build properties. As per .NET Framework 3.5, this method can also be used as String extension:

public static unsafe class StringExtensions
{
    public static Byte[] ToByteArray(this String s)
    {
        // Method Code
    }
}

BinaryFormatter bf = new BinaryFormatter();
byte[] bytes;
MemoryStream ms = new MemoryStream();

string orig = "喂 Hello 谢谢 Thank You";
bf.Serialize(ms, orig);
ms.Seek(0, 0);
bytes = ms.ToArray();

MessageBox.Show("Original bytes Length: " + bytes.Length.ToString());

MessageBox.Show("Original string Length: " + orig.Length.ToString());

for (int i = 0; i < bytes.Length; ++i) bytes[i] ^= 168; // pseudo encrypt
for (int i = 0; i < bytes.Length; ++i) bytes[i] ^= 168; // pseudo decrypt

BinaryFormatter bfx = new BinaryFormatter();
MemoryStream msx = new MemoryStream();            
msx.Write(bytes, 0, bytes.Length);
msx.Seek(0, 0);
string sx = (string)bfx.Deserialize(msx);

MessageBox.Show("Still intact :" + sx);

MessageBox.Show("Deserialize string Length(still intact): " 
    + sx.Length.ToString());

BinaryFormatter bfy = new BinaryFormatter();
MemoryStream msy = new MemoryStream();
bfy.Serialize(msy, sx);
msy.Seek(0, 0);
byte[] bytesy = msy.ToArray();

MessageBox.Show("Deserialize bytes Length(still intact): " 
   + bytesy.Length.ToString());

सिर्फ यह दिखाने के लिए कि मेहर्रद के ध्वनि share काम करते हैं, उनका दृष्टिकोण [BinaryFormatter को भी जारी रख सकता है (जिनमें से कई ने मेरे उत्तर के खिलाफ स्तर बनाया है, लेकिन जिनमें से हर कोई समान रूप से दोषी है, उदाहरण के लिए System.Text.Encoding.UTF8.GetBytes , System.Text.Encoding.Unicode.GetBytes ; उन एन्कोडिंग विधियों उदाहरण के लिए उच्च सरोगेट वर्ण d800 जारी नहीं रख सकते हैं, और वे केवल उच्च सरोगेट वर्णों को मूल्य fffd साथ fffd ):

using System;

class Program
{     
    static void Main(string[] args)
    {
        string t = "爱虫";            
        string s = "Test\ud800Test"; 

        byte[] dumpToBytes = GetBytes(s);
        string getItBack = GetString(dumpToBytes);

        foreach (char item in getItBack)
        {
            Console.WriteLine("{0} {1}", item, ((ushort)item).ToString("x"));
        }    
    }

    static byte[] GetBytes(string str)
    {
        byte[] bytes = new byte[str.Length * sizeof(char)];
        System.Buffer.BlockCopy(str.ToCharArray(), 0, bytes, 0, bytes.Length);
        return bytes;
    }

    static string GetString(byte[] bytes)
    {
        char[] chars = new char[bytes.Length / sizeof(char)];
        System.Buffer.BlockCopy(bytes, 0, chars, 0, bytes.Length);
        return new string(chars);
    }        
}

आउटपुट:

T 54
e 65
s 73
t 74
? d800
T 54
e 65
s 73
t 74

इसे System.Text.Encoding.UTF8.GetBytes या System.Text.Encoding.Unicode.GetBytes के साथ आज़माएं, वे केवल उच्च सरोगेट वर्णों को मूल्य fffd के साथ प्रतिस्थापित करेंगे

हर बार इस सवाल में एक आंदोलन होता है, मैं अभी भी एक धारावाहिक (यह माइक्रोसॉफ्ट से या तीसरे पक्ष के घटक से) के बारे में सोच रहा हूं जो तारों को जारी रख सकता है, यहां तक ​​कि इसमें अनपेक्षित सरोगेट पात्र भी शामिल हैं; मैं इसे हर बार और फिर Google पर करता हूं: serialization unpaired सरोगेट चरित्र .NET । इससे मुझे कोई नींद नहीं आती है, लेकिन यह हर तरह की परेशान होती है जब हर कोई और फिर मेरे जवाब पर कोई टिप्पणी करता है कि यह त्रुटिपूर्ण है, फिर भी जब उनके अनजान सरोगेट पात्रों की बात आती है तो उनके जवाब समान रूप से त्रुटिपूर्ण होते हैं।

डर्न, माइक्रोसॉफ्ट ने बस अपने BinaryFormatter में System.Buffer.BlockCopy का उपयोग किया होगा

谢谢!


The string can be converted to byte array in few different ways, due to the following fact: .NET supports Unicode, and Unicode standardizes several difference encodings called UTFs. They have different lengths of byte representation but are equivalent in that sense that when a string is encoded, it can be coded back to the string, but if the string is encoded with one UTF and decoded in the assumption of different UTF if can be screwed up.

Also, .NET supports non-Unicode encodings, but they are not valid in general case (will be valid only if a limited sub-set of Unicode code point is used in an actual string, such as ASCII). Internally, .NET supports UTF-16, but for stream representation, UTF-8 is usually used. It is also a standard-de-facto for Internet.

Not surprisingly, serialization of string into an array of byte and deserialization is supported by the class System.Text.Encoding , which is an abstract class; its derived classes support concrete encodings: ASCIIEncoding and four UTFs ( System.Text.UnicodeEncoding supports UTF-16)

Ref this link.

For serialization to an array of bytes using System.Text.Encoding.GetBytes . For the inverse operation use System.Text.Encoding.GetChars . This function returns an array of characters, so to get a string, use a string constructor System.String(char[]) .
Ref this page.

उदाहरण:

string myString = //... some string

System.Text.Encoding encoding = System.Text.Encoding.UTF8; //or some other, but prefer some UTF is Unicode is used
byte[] bytes = encoding.GetBytes(myString);

//next lines are written in response to a follow-up questions:

myString = new string(encoding.GetChars(bytes));
byte[] bytes = encoding.GetBytes(myString);
myString = new string(encoding.GetChars(bytes));
byte[] bytes = encoding.GetBytes(myString);

//how many times shall I repeat it to show there is a round-trip? :-)

bytes[] buffer = UnicodeEncoding.UTF8.GetBytes(string something); //for converting to UTF then get its bytes

bytes[] buffer = ASCIIEncoding.ASCII.GetBytes(string something); //for converting to ascii then get its bytes

स्वीकृत उत्तर बहुत जटिल है। इसके लिए शामिल .NET कक्षाओं का उपयोग करें:

const string data = "A string with international characters: Norwegian: ÆØÅæøå, Chinese: 喂 谢谢";
var bytes = System.Text.Encoding.UTF8.GetBytes(data);
var decoded = System.Text.Encoding.UTF8.GetString(bytes);

यदि आपको नहीं करना है तो पहिया को फिर से न करें ...


byte[] strToByteArray(string str)
{
    System.Text.ASCIIEncoding enc = new System.Text.ASCIIEncoding();
    return enc.GetBytes(str);
}

The key issue is that a glyph in a string takes 32 bits (16 bits for a character code) but a byte only has 8 bits to spare. A one-to-one mapping doesn't exist unless you restrict yourself to strings that only contain ASCII characters. System.Text.Encoding has lots of ways to map a string to byte[], you need to pick one that avoids loss of information and that is easy to use by your client when she needs to map the byte[] back to a string.

Utf8 is a popular encoding, it is compact and not lossy.


From byte[] to string :

        return BitConverter.ToString(bytes);

Simply use this:

byte[] myByte= System.Text.ASCIIEncoding.Default.GetBytes(myString);

With the advent of Span<T> released with C# 7.2, the canonical technique to capture the underlying memory representation of a string into a managed byte array is:

byte[] bytes = "rubbish_\u9999_string".AsSpan().AsBytes().ToArray();

Converting it back should be a non-starter because that means you are in fact interpreting the data somehow, but for the sake of completeness:

string s;
unsafe
{
    fixed (char* f = &bytes.AsSpan().NonPortableCast<byte, char>().DangerousGetPinnableReference())
    {
        s = new string(f);
    }
}

The names NonPortableCast and DangerousGetPinnableReference should further the argument that you probably shouldn't be doing this.

Note that working with Span<T> requires installing the System.Memory NuGet package .

Regardless, the actual original question and follow-up comments imply that the underlying memory is not being "interpreted" (which I assume means is not modified or read beyond the need to write it as-is), indicating that some implementation of the Stream class should be used instead of reasoning about the data as strings at all.


I'm not sure, but I think the string stores its info as an array of Chars, which is inefficient with bytes. Specifically, the definition of a Char is "Represents a Unicode character".

take this example sample:

String str = "asdf éß";
String str2 = "asdf gh";
EncodingInfo[] info =  Encoding.GetEncodings();
foreach (EncodingInfo enc in info)
{
    System.Console.WriteLine(enc.Name + " - " 
      + enc.GetEncoding().GetByteCount(str)
      + enc.GetEncoding().GetByteCount(str2));
}

Take note that the Unicode answer is 14 bytes in both instances, whereas the UTF-8 answer is only 9 bytes for the first, and only 7 for the second.

So if you just want the bytes used by the string, simply use Encoding.Unicode , but it will be inefficient with storage space.


simple code with LINQ

string s = "abc"
byte[] b = s.Select(e => (byte)e).ToArray();

EDIT : as commented below, it is not a good way.

but you can still use it to understand LINQ with a more appropriate coding :

string s = "abc"
byte[] b = s.Cast<byte>().ToArray();

You can use following code to convert a string to a byte array in .NET

string s_unicode = "abcéabc";
byte[] utf8Bytes = System.Text.Encoding.UTF8.GetBytes(s_unicode);

यहां दिए गए उत्तरों के विपरीत, यदि बाइट्स को व्याख्या करने की आवश्यकता नहीं है तो आपको एन्कोडिंग के बारे में चिंता करने की आवश्यकता नहीं है!

जैसा कि आपने बताया है, आपका लक्ष्य बस, "स्ट्रिंग को किस बाइट में संग्रहीत किया गया है" प्राप्त करने के लिए है
(और, ज़ाहिर है, बाइट्स से स्ट्रिंग को फिर से बनाने में सक्षम होने के लिए।)

उन लक्ष्यों के लिए, मैं ईमानदारी से समझ में नहीं आता क्यों लोग आपको बताते रहते हैं कि आपको एन्कोडिंग की आवश्यकता है। आपको निश्चित रूप से इसके लिए एन्कोडिंग के बारे में चिंता करने की आवश्यकता नहीं है।

बस इसके बजाय ऐसा करें:

static byte[] GetBytes(string str)
{
    byte[] bytes = new byte[str.Length * sizeof(char)];
    System.Buffer.BlockCopy(str.ToCharArray(), 0, bytes, 0, bytes.Length);
    return bytes;
}

static string GetString(byte[] bytes)
{
    char[] chars = new char[bytes.Length / sizeof(char)];
    System.Buffer.BlockCopy(bytes, 0, chars, 0, bytes.Length);
    return new string(chars);
}

जब तक आपका प्रोग्राम (या अन्य प्रोग्राम) किसी भी तरह बाइट्स को समझने की कोशिश नहीं करते हैं, जिसे आपने स्पष्ट रूप से उल्लेख नहीं किया है, तो आप इस दृष्टिकोण के साथ कुछ भी गलत नहीं हैं! एन्कोडिंग के बारे में चिंता करने से आपके जीवन को वास्तविक कारण के लिए और अधिक जटिल बना दिया जाता है।

इस दृष्टिकोण के लिए अतिरिक्त लाभ:

इससे कोई फर्क नहीं पड़ता कि स्ट्रिंग में अमान्य वर्ण हैं, क्योंकि आप अभी भी डेटा प्राप्त कर सकते हैं और वैसे भी मूल स्ट्रिंग का पुनर्निर्माण कर सकते हैं!

इसे एन्कोड और डीकोड किया जाएगा, क्योंकि आप केवल बाइट्स को देख रहे हैं।

यदि आपने एक विशिष्ट एन्कोडिंग का उपयोग किया है, हालांकि, यह आपको अमान्य वर्णों को एन्कोडिंग / डीकोडिंग के साथ परेशानी देगा।


Fastest way

public static byte[] GetBytes(string text)
{
    return System.Text.ASCIIEncoding.UTF8.GetBytes(text);
}

EDIT as Makotosan commented this is now the best way:

Encoding.UTF8.GetBytes(text)

उपयोग:

    string text = "string";
    byte[] array = System.Text.Encoding.UTF8.GetBytes(text);

The result is:

[0] = 115
[1] = 116
[2] = 114
[3] = 105
[4] = 110
[5] = 103

सबसे पहले, इसे उपयोगिता के साथ करना है। यदि आप विरासत का उपयोग करते हैं, तो Team क्लास व्यवहार (विधियों) का पर्दाफाश करेगी जो पूरी तरह से ऑब्जेक्ट मैनिपुलेशन के लिए डिज़ाइन की गई हैं। उदाहरण के लिए, AsReadOnly() या CopyTo(obj) विधियों को टीम ऑब्जेक्ट के लिए कोई समझ नहीं आता है। AddRange(items) विधि के बजाय आप शायद अधिक वर्णनात्मक AddPlayers(players) विधि चाहते हैं।

यदि आप LINQ का उपयोग करना चाहते हैं, तो एक सामान्य इंटरफेस को लागू करना जैसे कि ICollection<T> या IEnumerable<T> अधिक समझ में आता है।

जैसा कि बताया गया है, संरचना इसके बारे में जाने का सही तरीका है। बस एक निजी चर के रूप में खिलाड़ियों की एक सूची लागू करें।





c# .net string