удобная работа со строками [решение, рассуждение]

Это моя ошибка. find использует встроенные mb_strr?i?pos. Не использует встроенные stri?str метод take. И за счет изобретения велосипеда Косу удалось сделать его быстрее, чем оригинал. Кос, ты должен собой гордиться

PHP:

1. <?php
2.     require_once 'init.php';
3.     require_once ENGINE_PATH . 'Lib/Str/IStr.php';
4.  
5.     $test = new StrTest;
6.     /**
7.      * 0.263025045395
8.      * 0.266486883163
9.      * 0.252983093262
10.      * 0.288603067398
11.      * 0.290389060974
12.      */ // $test->testGenerator();
13.      
14.     /**
15.      * 3.85818910599
16.      * 3.69979500771
17.      * 3.74817490578
18.      * 4.03902196884
19.      * 3.74049687386
20.      */ // $test->testCore();
21.  
22.     /**
23.      * 2.79515790939
24.      * 2.74578690529
25.      * 2.84421300888
26.      * 2.82366919518
27.      * 2.76611804962
28.      */ // $test->testWrapper();

PHP:

1. <?php
2.  
3. class StrTest {
4.     private $cycles = 1000;
5.     private $strLen = 1000;
6.  
7.     public function genRandStr () {
8.         $symbs = "йцУке нгШщзхї ФівАпрОл джЭячсМ итьБю";
9.         $len = strlen($symbs);
10.         $str = '';
11.         for($i=$this->strLen/5;$i--;) {
12.             $str .= mb_substr($symbs, mt_rand(0, $len-5), 5);
13.         }
14.         return $str;
15.     }
16.  
17.     public function testGenerator () {
18.         $s = microtime(1);
19.         for($i=$this->cycles; $i--;) {
20.             $this->genRandStr();
21.         }
22.         echo microtime(1) - $s;
23.     }
24.  
25.     public function testCore () {
26.         $s = microtime(1);
27.         for($i=$this->cycles; $i--;) {
28.             mb_strstr  ($this->genRandStr(), 'цук');
29.             mb_stristr ($this->genRandStr(), 'іва');
30.             mb_strstr  ($this->genRandStr(), 'єяч');
31.             mb_stristr ($this->genRandStr(), 'итьбю');
32.             mb_strstr  ($this->genRandStr(), 'ФівА');
33.             mb_stristr ($this->genRandStr(), 'прОл');
34.             mb_strstr  ($this->genRandStr(), 'ФівА');
35.             mb_stristr ($this->genRandStr(), 'прОл');
36.             mb_strstr  ($this->genRandStr(), 'джЭ');
37.             mb_stristr ($this->genRandStr(), 'ить');
38.         }
39.         echo microtime(1) - $s;
40.     }
41.  
42.  
43.     public function testWrapper () {
44.         $s = microtime(1);
45.         for($i=$this->cycles; $i--;) {
46.             Str::take('цук',   $this->genRandStr(), Str::RIGHT_WITH);
47.             Str::take('іва',   $this->genRandStr(), Str::RIGHT_WITH, false);
48.             Str::take('єяч',   $this->genRandStr(), Str::RIGHT_WITH);
49.             Str::take('итьбю', $this->genRandStr(), Str::RIGHT_WITH, false);
50.             Str::take('ФівА',  $this->genRandStr(), Str::RIGHT_WITH);
51.             Str::take('прОл',  $this->genRandStr(), Str::RIGHT_WITH, false);
52.             Str::take('ФівА',  $this->genRandStr(), Str::RIGHT_WITH);
53.             Str::take('прОл',  $this->genRandStr(), Str::RIGHT_WITH, false);
54.             Str::take('джЭ',   $this->genRandStr(), Str::RIGHT_WITH);
55.             Str::take('ить',   $this->genRandStr(), Str::RIGHT_WITH, false);
56.         }
57.         echo microtime(1) - $s;
58.     }
59. }
60.  
61. ?>

 

Эта функция мало того, что глючная, так еще и с багом:

Код (Text):

1. echo Str::changeCase('t "x', Str::TITLE);
2. T \"x

 

PHP:

1. <?php
2. $string = '...';
3.  
4. // echo mb_strlen($string); // 9000
5.  
6. function coreFunc ($string) {
7.     return mb_convert_case($string, MB_CASE_TITLE);
8. }
9.  
10. function symbRegexp ($string) {
11.     $pattern = '/(?<=^|[\x0c\x09\x0b\x0a\x0d\x20])[^\x0c\x09\x0b\x0a\x0d\x20]/ue';
12.     return preg_replace($pattern, 'mb_strtoupper(\'$0\')', $string);
13. }
14.  
15. function wordRegexp ($string) {
16.      return preg_replace_callback ("/([\p{L}\p{Nd}]+)/", 'upFirst', $string);
17. }
18.  
19. function upFirst ($m) {
20.     return mb_strtoupper(mb_substr($m[0], 0, 1)) . mb_substr($m[0], 1);
21. }
22.  
23. $s = microtime(1);
24. for ($i = 100; $i--;) {
25.     /**
26.      * 0.410108089447
27.      * 0.414505004883
28.      * 0.435932159424
29.      */ // coreFunc ($string);
30.  
31.     /**
32.      * 9.61156892776
33.      * 9.20857191086
34.      * 9.88236117363
35.      */ // symbRegexp ($string);
36.  
37.     /**
38.      * 1.25071811676
39.      * 1.13894200325
40.      * 1.21463418007
41.      */ // wordRegexp ($string);
42. }
43. echo microtime(1) - $s;

Вывод - в данном лучше использовать встроенную функцию, а если ее функционала не хватает - тогда уж использовать поиск слов, с которыми работать. То, что сейчас - не годится никуда. Тем более при поиске по словам более корректные результаты:

PHP:

1. <?php
2. echo coreFunc  ("привет!как дела?чем занимаешься?"), "\n"; // Привет!Как Дела?Чем Занимаешься?
3. echo symbRegexp("привет!как дела?чем занимаешься?"), "\n"; // Привет!как Дела?чем Занимаешься?
4. echo wordRegexp("привет!как дела?чем занимаешься?"), "\n"; // Привет!Как Дела?Чем Занимаешься?

 

А в твоем тесте она точно её использует, тоесть включен ли мультибайт?

 

афаик, \w распространяется на символы, коды которых ниже 127. С кириллицей даже в win-1251 оно работать не будет, ибо она находится между 128 и 255.
А вот и доказательство:

Код (Text):

1. shock@shock:~$ du -b en.php
2. 55      en.php
3. shock@shock:~$ cat en.php
4. <?php var_dump(preg_match("/^[\w]+$/", "String")); ?>
5. shock@shock:~$ php -f en.php
6. int(1)
7.  
8. shock@shock:~$ du -b 1251.php
9. 55      1251.php
10. shock@shock:~$ cat 1251.php
11. <?php var_dump(preg_match("/^[\w]+$/", "Строка")); ?>
12. shock@shock:~$ php -f 1251.php
13. int(0)
14.  
15. shock@shock:~$ du -b utf8.php
16. 61      utf8.php
17. shock@shock:~$ cat utf8.php
18. <?php var_dump(preg_match("/^[\w]+$/", "Строка")); ?>
19. shock@shock:~$ php -f utf8.php
20. int(0)

По количеству байт видно, что в файле 1251.php действительно однобайтовая кодировка, тем не менее нужные символы оно не нашло. Я не понимаю, почему ты так сопротивляешься предложенному поиску по словам, если он реально лучше по многим параметрам.


kostyl, я уже ниже сказал, что функцию перепутал и быстрее встроенной функция, которая самонаписана Косом и действительно показывает лучшие результаты. Выше есть код для теста.

 

кстати, модификатор "u" тут не нужен:

Код (Text):

1. "/([\p{L}\p{Nd}])/ue"

И еще:

PHP:

1.  
2. <?php
3.         /**/ public static function changeCase;
4.         public static function length;
5.         public static function trim;
6.         public static function reverse;
7.         /**/ private static function caseInvert;
8.         /**/ private static function caseRand;
9.         /**/ private static function charCaseInvert;
10.         /**/ private static function charCaseRand;
11.         public static function fill;

Я не совсем согласен с месторасположением приватных функций. Они относятся только к методу "changeCase", а стоят между методами "reverse" и "fill". Думаю, их стоит засунуть либо в конец класса, либо в начало, либо сразу после "changeCase"

 

ну, тесты выше...

я догадался. думаю, лучшим решением будет их перенести после changeCase?

 

у меня возникла идея улучшения одного метода. сейчас поэкспериментирую и покажу.
(Юбилейный 500 пост)

 

Идея себя оправдала и она в следующем. При мультибайтовом поиске (метод StrU::take) мы передаем методу и заставляем его работать с мультибайтовой строкой. Сначала, при помощи self::find мы ищем позицию символа нужного вхождения (не байта, а именно символа), после этого определяем количество символов (не байт) в строке функцией mb_strlen, а потом обрезаем все функцией mb_substr. Но почему бы не работать с этими строками не как с массивом юникод-символов, а как с массивом байт? Совершенно не меняя при этом интерфейс
Смотрите. Строка "метод trim" в unicode представлении - это 10 байт: 04.4C|04.35|04.42|04.3E|04.2B|?|74|72|69|6D
если мы будем искать в нем по букве "м", то, конечно, можно поискать ее как символ с кодом 04.2B в многобайтовой строке, но это будет медленнее, чем искать два байта в однобайтовой строке - нету разделения на символы. Но, несмотря на способ, которым мы будем пользоваться, вернется нам один результат - строка начиная с байтов 04.2B и до конца. А теперь практика:

PHP:

1. <?php
2. error_reporting(E_ALL | E_STRICT);
3. mb_internal_encoding('UTF-8');
4.  
5. define('RIGHT', 1);
6. define('LEFT',  2);
7. define('RIGHT_WITH', 3);
8. define('LEFT_WITH',  4);
9. define('CS', true);
10. define('CI', false);
11.  
12. function coreTake ($what, $where, $caseSensitive = CI) {
13.     return $caseSensitive ? mb_strstr($where, $what) : mb_stristr($where, $what);
14. }
15.  
16. function multiTake ($what, $where, $caseSensitive = CI, $type = RIGHT_WITH) {
17.     // Поиск символов в строке
18.     $pos = ($caseSensitive) ? mb_strpos($where, $what) : mb_stripos($where, $what);
19.    
20.     if ($pos === false) return '';
21.    
22.     switch ($type) {
23.         case RIGHT:
24.             return mb_substr($where, $pos + mb_strlen($what));
25.        
26.         case LEFT:
27.             return mb_substr($where, 0, $pos);
28.        
29.         case RIGHT_WITH:
30.             return mb_substr($where, $pos);
31.        
32.         case LEFT_WITH:
33.             return mb_substr($where, 0, $pos + mb_strlen($what));
34.     }
35. }
36.  
37. function byteTake ($what, $where, $caseSensitive = CI, $type = RIGHT_WITH) {
38.     // Поиск байт в массиве байтов
39.     $pos = ($caseSensitive) ? strpos($where, $what) : strpos(mb_strtolower($where), mb_strtolower($what));
40.    
41.     if ($pos === false) return '';
42.    
43.     switch ($type) {
44.         case RIGHT:
45.             return substr($where, $pos + strlen($what));
46.        
47.         case LEFT:
48.             return substr($where, 0, $pos);
49.        
50.         case RIGHT_WITH:
51.             return substr($where, $pos);
52.        
53.         case LEFT_WITH:
54.             return substr($where, 0, $pos + strlen($what));
55.     }
56. }
57.  
58. $str = str_repeat('йцУке нгШщзхї stronger bджЭячсМ итьБю ек', 13);
59. $str.= str_repeat('холох mirrow ФівАпрОл gджЭячсМ итьБю his', 12);
60. // echo mb_strlen($str); // 1000 - символов
61. // echo strlen($str); // 1638 - байт
62. $s = microtime(1);
63. for ($i=10000; $i--;) {
64.  
65.     // Case Sensitive
66.  
67.     /** coreTake Case Sensitive
68.      * 0.299010038376
69.      * 0.290163993835
70.      * 0.326658964157
71.      */ // coreTake  ('олох mi', $str, CS);
72.  
73.     /** multiTake Case Sensitive
74.      * 0.271375894547
75.      * 0.271709918976
76.      * 0.296041965485
77.      */ // multiTake ('олох mi', $str, CS);
78.  
79.     /** byteTake Case Sensitive
80.      * 0.108669996262
81.      * 0.116374015808
82.      * 0.111712932587
83.      */ // byteTake  ('олох mi', $str, CS);
84.  
85.     // Case InSensitive
86.  
87.     /** coreTake Case InSensitive
88.      * 4.53858208656
89.      * 4.55345606804
90.      * 4.48540306091
91.      */ // coreTake  ('олох mi', $str, CI);
92.  
93.     /** multiTake Case InSensitive
94.      * 4.34134888649
95.      * 4.30748605728
96.      * 4.39033198357
97.      */ // multiTake ('олох mi', $str, CI);
98.  
99.     /** byteTake Case InSensitive
100.      * 2.72171115875
101.      * 2.58283400536
102.      * 2.75850009918
103.      */ // byteTake  ('олох mi', $str, CI);
104.  
105. }
106. echo microtime(1) - $s;
107.  
108. ?>

Ну и для того, чтобы убедиться, что все функции работают правильно:

PHP:

1.  
2. <?php
3. echo coreTake  ('r', 'string'), "\n"; // ring
4. echo multiTake ('r', 'string'), "\n"; // ring
5. echo byteTake  ('r', 'string'), "\n"; // ring
6.  
7. echo coreTake  ('р', 'строка'), "\n"; // рока
8. echo multiTake ('р', 'строка'), "\n"; // рока
9. echo byteTake  ('р', 'строка'), "\n"; // рока
10. ?>

UPD:
Меня посетила мысль, что, возможно, byteTake может дать сбой в определенных обстоятельствах: осуществляется поиск однобайтного символа (например, D == 0x44), но первым идет двухбайтовый символ, содержащий одним из байтов такой, поиск которого осуществляется (например, ф == 0x04.0x44). Но опасения не оправдались:

PHP:

1. <?php echo byteTake  ('D', 'тестофая строка зDесь'), "\n"; // Dесь ?>

Для того, чтобы проверить, действительно ли соответствуют эти символы (ф и D) заявленным байтам - создайте html-документ со следующим содержимым и откройте у себя в браузере:

Код (Text):

1. &#x0444; &#x44;

 

нет. я не утверждаю, что ВСЕ функции могут быть заменены. Но некоторые - могут. Нельзя заменить "length" , потому что она должна возвращать количество символов, а не байт, но можно заменить функции, где ищется один массив байт в другом. По крайней мере, я так думаю

 

зависит от используемой локали

 

[\p{L}\p{Nd}] работает что с флагом, что без флага - одинаково. Но флаг значительно(в пять раз) замедляет работу выражения: http://www.php.ru/forum/viewtopic.php?p=163775#163775. Зачем этот флаг, если честно, я слабо понимаю )

Про локаль - да, забыл. Не работаю не с Юникодом уже очень давно. Тем более мой KWrite его не любит

я вообще не осилил, что та функция делает ) имхо, она очень странная. на сколько я знаю, strlen считает именно количество байт, и пример выше это доказывает

 

Да, для интервалов флаг нужен, хотя и с флагом бывают пропуски. приходится дописывать чтото типа /[а-ягтіїґ]/ui

про UTF-16 я тоже уже думал. мне вообще она больше 8 нравится. но все же, сейчас стандартом стала утф-8

 

Psih
да я знаю. он - легче по весу и он - обратно совместим со старыми кодировками и устаревшими браузерами. тем не менее, процессорное время дороже места на жестком диске, вроде